Scikit-learn_回归算法_梯度下降算法

一.全梯度下降算法

描述

在更新参数时使用所有的样本来进行更新，计算训练集所有样本误差，对其求和再取平均值作为目标函数，权重向量延其相反的方向移动，从而使得当前目标函数减少的最多

注意事项

• 因为在执行每次更新时，需要在整个数据集上计算所有的梯度，所以批梯度下降法的速度会很慢，同时，全梯度下降法无法处理超出内存容量限制的数据集

二.随机梯度下降算法

随机梯度下降算法每轮计算的目标函数不再是全体样本误差，而仅是单个样本误差，即**每次只代入计算一个样本目标函数的梯度来更新权重，再取下一个样本重复此过程，直到损失函数值停止下降或损失函数值小于某个可以容忍的阈值。

三.小批量梯度下降算法

小批量梯度下降算法是FG和SG的折中方案,在一定程度上兼顾了以上两种方法的优点。每次从训练样本集上随机抽取一个小样本集，在抽出来的小样本集上采用FG迭代更新权重。被抽出的小样本集所含样本点的个数称为batch_size，通常设置为2的幂次方，更有利于GPU加速处理。

四.随机平均梯度下降算法

在内存中为每一个样本都维护一个旧的梯度，随机选择第i个样本来更新此样本的梯度，其他样本的梯度保持不变，然后求得所有梯度的平均值，进而更新了参数