习题7-1
在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.
在小批量梯度下降中有:
其中,则
因此我们要使得参数最优,则为最优的时候的常数,故学习率要和批量大小成正比。
习题7-2
在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).
在Adam算法中:
因此当的时候:
因此可以发现此时梯度消失,因此需要进行偏差偏正
习题7-9
证明在标准的随机梯度下降中,权重衰减正则化和l,正则化的效果相同.并分析这一结论在动量法和 Adam算法中是否依然成立.
L2正则化和权值衰减并不是一回事,但是可以根据学习率对权值衰减因子进行重新参数化,从而使SGD等价。
以λ为衰减因子,给出了权值衰减方程。
在以下证明中可以证明L2正则化等价于SGD情况下的权值衰减:
首先考虑下面图中给出的L2正则化方程。我们的目标是对它进行重新参数化,使其等价于上式中给出的权值衰减方程
找到L2正则化损失函数相对于参数w的偏导数(梯度),如下式所示。
得到损失函数的偏导数结果后,将结果代入梯度下降学习规则中,如下式所示。代入后,打开括号,重新排列,使其等价于在一定假设下的权值衰减方程。
可以注意到,最终重新排列的L2正则化方程和权值衰减方程之间的唯一区别是α(学习率)乘以λ(正则化项)。为了得到两个方程,我们用λ来重新参数化L2正则化方程。
将λ’替换为λ,对L2正则化方程进行重新参数化,将其等价于权值衰减方程,如下式所示。
分析这一结论在动量法和Adam算法中是否成立?
L2正则化梯度更新的方向取决于最近一段时间内梯度的加权平均值。
当与自适应梯度相结合时(动量法和Adam算法),
L2正则化导致导致具有较大历史参数 (和/或) 梯度振幅的权重被正则化的程度小于使用权值衰减时的情况。
总结
这是本学期的最后一个作业,经过这一学期的学习我对深度学习有了更加深入的了解。通过本次作业知道了网络优化的几个常用算法,以及为什么在小批量梯度下降中学习率与权重大小成正比等。