【李宏毅】机器学习 笔记03（Tips of gradient descent）

1、Adagrad
Adagrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。

公式如下：

 

2、Stochastic Gradient Descent(SGD:随机梯度下降)
如果使用梯度下降法(批量梯度下降法)，那么每次迭代过程中都要对个样本进行求梯度，所以开销非常大，随机梯度下降的思想就是随机采样一个样本来更新参数，那么计算开销就下降了 

 

3、Feature Scaling（特征缩放）-- 使下降加快
当特征值有相似的范围的话梯度下降会比较快

具体做法：