随机梯度下降python_菜鸟笔记Python3——机器学习(一) ：随机梯度下降模型

参考资料

chapter2

Training Ma

chine Learning Algorithms for Classifcation

引言

在上一节，我们学习了梯度下降算法，现在我们来了解一下梯度下降算法的一个类型——随机梯度下降，每一次更新只考虑一个样本的数据误差，所以速度很快，能进行在线的参数更新... ...

原理

基本原理与批量梯度下降算法相同，不同的是更新权值的方法

这是上一章节的权值更新方法

在随机梯度下降中，我们一次考虑一个样本的误差，再逐个加和，一旦到达最小，就可以停下来，所以可以大大加快模拟的速度，同时每一次迭代开始的时候，我们都打乱一遍训练集，为了减小样本之间造成的参数更新抵消问题

Python实现

我们在上一节AdalineGD类的基础上稍加改动就得到了AdalineSGD类

主要的改动有：

增加了一个洗牌(shuffle)方法，用于在每一次迭代开始的时候打乱训练集

增加了一个权值更新(._update_weights)方法, 用于更新每一个样本的误差

ok

上代码吧, 有什么问题都在注释里说明了

__author__ = 'Administrator'

#! /usr/bin/python
# -*- coding:utf8 -*-

import numpy as np

from numpy.random import seed

class AdalineSGD(object):

"""

ADAlineSGD Linear Neuron classifier.

Parameters(参数)

------------

eta : float

Learning rate (between 0.0 and 1.0) 学习效率

n_iter : int

Passes over the training dataset(数据集).

Attributes(属性)

-----------

w_ : 1d-array

Weights af