一 基础回顾
二 梯度下降的三个小贴士
2.1 tuning your learning rate
(1) 最流行也是最简单的做法就是:在每一轮都通过一些因子来减小learning rate。
- 最开始时,我们距离最低点很远,所以我们用较大的步长。
- 经过几轮后,我们接近了最低点,所以我们减少learning rate。
- 比如: 1/t 衰减ηn=ηt+1√
(2) learning rate 不能从一而终。
- 要给不同的参数设置不同的learning rate。
为了达到此目的,有许多种技巧,而Adagrad就是一种不错的选择。
这样操作后,每组参数的learning rate 都不同。
举个例子:
所以用Adagrad后,我们的参数变化要写成这样:
Adagrad越到后面改变会越慢,这是一个正常现象。
那么我们从该表达式中有没有发现奇怪的地方??或者是否有所冲突??
直观解释
更容易让人信服的解释
2.2 Stochastic Gradient Descent
随机梯度下降法让你的training更快一些。
2.3 Feature Scaling
让不同的特征值具有相同的缩放程度。
举例:
常见的 Feature Scaling
参考:https://blog.csdn.net/soulmeetliang/article/details/72830179