梯度法

1. 梯度法也叫最速下降法。

2. 批处理模式

   全量梯度下降法（BGD, Batch gradient descent）。

   在最小化损失函数的时候， 首先随机取一个w0, 然后计算w0处的梯度， 然后按梯度相反的方向修改w0.

   反复迭代直到取得最小值。

   其中每次修改的大小，称为学习步长。如果步长选择太小， 则收敛速度会很慢， 如果太大则可能会震荡。

   w<t+1> = w<t> - η▽L(w<t>)

 

3. 在线模式

    当数据量（样本数）很大的时候， 批处理模式计算量太大。

    在线模式一次只处理一个数据。

    

4. 随机梯度法（SGD, Stochastic Gradient Descent）

    由于经验损失函数是n个样本对应的误差之和， 所以当在线模式， 不提前处理所有样本数据的情况下，

    我们只能得到单个样本的损失（部分损失）， 随机梯度算法就直接使用部分损失函数，并根据其梯度来迭代更新w。

    本算法需要的参数:

     (1)部分损失函数

     (2)部分损失函数的梯度函数

     (3)最大迭代次数限制

     (4)精度限制

     (5)学习步长

5. 凸优化一阶算法， 当维数很大的时候， 收敛速度不超过正比于 1/√(t),  t是迭代次数.

 

6. 小批量梯度下降法（MBGD, Mini-Batch Gradient Descent）<