NNDL 作业12：第七章课后题

目录

习题7-1 在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.

习题7-2 在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).

习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l2正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立.

总结

---

习题7-1 在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.

在使用小批量梯度下降进行优化时，每次选取K个训练样本。第t次迭代时损失函数关于参数的偏导数为

第t次更新的梯度定义为

每次迭代时参数更新：

把代入上式可以发现K与成正比。

习题7-2 在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).

公式7.27：

公式7.28：

在Adam算法中：

当，的时候

此时可以发现梯度消失，因此需要进行偏差修正

习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l2正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立.

L2正则化和权值衰减并不是一回事，但是可以根据学习率对权值衰减因子进行重新参数化，从而使SGD等价。

以λ为衰减因子，给出了权值衰减方程。

 在以下证明中可以证明L2正则化等价于SGD情况下的权值衰减：

首先考虑下面图中给出的L2正则化方程。我们的目标是对它进行重新参数化，使其等价于上式中给出的权值衰减方程

 找到L2正则化损失函数相对于参数w的偏导数(梯度)，如下式所示。

得到损失函数的偏导数结果后，将结果代入梯度下降学习规则中，如下式所示。代入后，打开括号，重新排列，使其等价于在一定假设下的权值衰减方程。

 可以注意到，最终重新排列的L2正则化方程和权值衰减方程之间的唯一区别是α(学习率)乘以λ(正则化项)。为了得到两个方程，我们用λ来重新参数化L2正则化方程。

将λ'替换为λ，对L2正则化方程进行重新参数化，将其等价于权值衰减方程，如下式所示。

 从上面的证明中，你必须理解为什么L2正则化在SGD情况下被认为等同于权值衰减，但对于其他基于自适应梯度的优化算法，如Adam, AdaGrad等，却不是这样。特别是，当与自适应梯度相结合时，L2正则化导致具有较大历史参数和/或梯度振幅的权值比使用权值衰减时正则化得更少。这导致与SGD相比，当使用L2正则化时adam表现不佳。另一方面，权值衰减在SGD和Adam身上表现得一样好。

总结

 作为本学期最后一课的内容，也算是完美收官了，到家以后的学习效率明显不如在学校，毕竟家就是家嘛，总让人想偷会儿懒，虽说完成的时间晚了一点，但是写的时候还是比较认真的，画了这么多的思维导图，也画出经验了哈哈，相比于一开始不知道画什么好，现在可以说是手到擒来，同时画的时候也是对自己的知识进行一次梳理，也方便了以后复习反复观看，最后感谢老师一学期的持续督促，也感谢自己的坚持吧哈哈

参考链接：权值衰减和 L2 正则化傻傻分不清楚？