tuning 美 ['tjunɪŋ] : 调整
learning rate 美[ˈlɚnɪŋ ret] : 学习速率
stochastic 美 [stə'kæstɪk]:随机的
batch 美 [bætʃ] : 一批
dimension 美 [dɪˈmɛnʃən, daɪ-] : 维度
mean 美 [min] : 平均数
standard deviation美 [ˈstændəd ˌdiviˈeʃən] : 标准差
variance 美 [ˈveriəns] : 方差
本文是对李宏毅教授课程的笔记加上自己的理解重新组织,如有错误,感谢指出。视频及 PPT 原教程:https://pan.baidu.com/s/1bSs66a 密码:g8e4上篇详细介绍了梯度下降,这篇讲一下对梯度下降的一些优化。
Tuning your learning rate
Adagrad
下边是梯度下降的公式。
这里的 是一直固定不变的, 而直观上,我们开始离目标点远,
值应该大一些,随着迭代的进行,我们离目标点越来越近,
值应该变小。所以我们得到了第一次优化的版本:
t 代表迭代的次数。
还存在一些问题,就是这里的 代表一组参数,也就意味着我们对不同的参数使用了同一个
。而每个参数对 Loss 值影响不一定相同,所以我们如何让不同的参数拥有不同的
呢?
因为每个参数的偏导值肯定是不一样的,我们不妨在上边优化的基础上再除以关于他们偏导值的东西,除以之前迭代的所有导数的平方的平均数再开根号。下边的 w 代表一个参数,其他参数同理,t 同样代表迭代次数。
我们把它和上边的优化综合在一起
这样我们就得到了 Adagrad 的公式,即 除以之前迭代的所有导数的平方的平均数再开根号,而迭代次数已经被我们约掉了。
Adagrad 原理
我们简单的理解一下它的原理。
我们假设 Loss Function 是 y ,对称轴是 - b / 2a ,初值选取了 ,而此时 Best step 如图所示,也就是
减去它就到了最小值,让我们和 Adagrad 对比一下。
是的, Adagrad 的想法就是除以一个可以近似代表二次导数的东西,当然我们也可以直接除以二次导数,但那样对于复杂的函数会增加很多计算量。
除了 Adagrad ,还有很多方法都是针对 进行优化。
Stochastic Gradient Descent (随机梯度下降)
我们举一个简单的例子,就是前边文章的预测神奇宝贝进化后的 cp 值,假如 Loss Function 是下边的
我们总共有 10 组已知的数据, 代表第 n 只神奇宝贝进化前的 cp 值,
代表第 n 只神奇宝贝进化后的 cp 值。我们计算 Loss 的时候把所有的数据全部用到了。
我们如果计算 Loss 的时候不用全部的数据会怎么样呢?也就是我们每次只随机或者顺序选一只神奇宝贝,即 Loss Function 如下:
这样我们根据其中一个数据直接算 Loss Function 的偏导,利用梯度下降进行更新参数就叫做 Stochastic Gradient Descent 。这样做的好处是可以更快的收敛,它的效果图可能如下:
10 组数据左边的图只更新了一次,而右边的图就更新了 10 次。
同理如果我们每次同样不选全部数据,而是选择部分数据,例如每次全部数据的十分之一,这样再进行梯度下降,就又是一个新的优化方法,叫做 mini-batch gradient decent , 小批的梯度下降。batch_size 就代表每次选择多少数据。这种方法用的最多。
而我们一开始使用全部数据的更新方式叫什么呢?Batch gradient descent ,批梯度下降。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不常用。
Feature Scaling
简单的讲,就是把所有参数的取值范围统一到一个范围,如下图。
为什么这样做呢?我们把上边的 y 函数用另一种图示表示。
的取值是 1,2...... ,
的取值是 100,200 ......
y 代表 Loss Function ,我们往 的方向看,等高线比较窄,说明
的变化对 L 的影响大。而看横轴
的方向比较稀疏,说明
对 L 的影响小。这显然是不合理的,每个参数对 L 的影响应该同等才可以,我们应该达到下边的效果:
这样做的好处很明显,每次参数的更新会直接朝向目标值,而不会向之前每次更新的方向都不同。
那么具体怎么操作呢?
把样本每一维度的参数减去平均值 除以标准差
即可。
最后会使得每一维度参数的取值的平均值为 0 ,方差为 1 。