参考资料
chapter2
Training Ma
chine Learning Algorithms for Classifcation
引言
在上一节,我们学习了梯度下降算法,现在我们来了解一下梯度下降算法的一个类型——随机梯度下降,每一次更新只考虑一个样本的数据误差,所以速度很快,能进行在线的参数更新... ...
原理
基本原理与批量梯度下降算法相同,不同的是更新权值的方法
这是上一章节的权值更新方法
在随机梯度下降中,我们一次考虑一个样本的误差,再逐个加和,一旦到达最小,就可以停下来,所以可以大大加快模拟的速度,同时每一次迭代开始的时候,我们都打乱一遍训练集,为了减小样本之间造成的参数更新抵消问题
Python实现
我们在上一节AdalineGD类的基础上稍加改动就得到了AdalineSGD类
主要的改动有:
增加了一个洗牌(shuffle)方法,用于在每一次迭代开始的时候打乱训练集
增加了一个权值更新(._update_weights)方法, 用于更新每一个样本的误差
ok
上代码吧, 有什么问题都在注释里说明了
__author__ = 'Administrator'
#! /usr/bin/python
# -*- coding:utf8 -*-
import numpy as np
from numpy.random import seed
class AdalineSGD(object):
"""
ADAlineSGD Linear Neuron classifier.
Parameters(参数)
------------
eta : float
Learning rate (between 0.0 and 1.0) 学习效率
n_iter : int
Passes over the training dataset(数据集).
Attributes(属性)
-----------
w_ : 1d-array
Weights af