梯度下降法总结

前言：网上查了大量写梯度下降法的文章，但是总是发现文章中存在很多问题，所以这里总结一下，更正错误。不然理解起来真的很困难。

参考博文

一、问题模型

对于如下的线性模型

                                           

已知：大量的样本数据（x,y），x为m阶向量。

求：线形模型的系数β

二、问题解法

思想：以梯度为方向，找到最优参数组合，使得损失函数下降到极小值。

步骤1：通常将模型写为下面的模型

                                  (i=0~n)

其中：i为第几组样本值，共n组样本。

步骤2：损失函数

                                      

其中的1/2是为了使数据整齐加上的。因为后面要求导，2刚好抵消。

这个损失函数的意义就是，让得到的模型的预测值与真实值的误差平方和最小。

步骤3：迭代公式

                        

(i=0~m;    j=1~n)

这里，偏导数为梯度值，决定迭代方向；

α为步长或称学习率，可以自己指定，但太大不收敛，太小收敛慢。推荐按照[0.001,0.003,0.01,0.03……]的顺序尝试设置。

PS：这个公式是参数更新公式，公式左边为当前代参数，公式右边为上一代的参数。

步骤4：初值选取

初值可以任意指定，由于采用迭代方法，最终会收敛到一个极值点。但可能是局部极值。所以，有先验知识是最好，取在全局极值附近。

步骤5：收敛条件

可以设定迭代代数，到这个代数就停止；

可以设定损失函数最小值，当损失函数到这个范围就停止迭代。

三、使用经验

1.随机的梯度下降(SGD)：每次随机的挑一个样本学习，直到收敛才停止更新

2.小批量的梯度下降（Mini-batch）:每次只学习一小部分，比如每次学习10个样本再更新

3.梯度下降（GD）：全部样本学习一次，然后更新下(少用，效率低)

4.也可以设置最大迭代次数，比如设为100，若在100次内收敛了，则收敛时停止，若100次还未收敛那么就停止迭代