NNDL 作业12：第七章课后题

习题7-1 在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.

很明显可以看出，学习率要和批量大小成正比。 

批量大小越大，随机梯度的方差越小，引入的噪声也越小，训练也越稳定，因此可以设置较大的学习率，而批量大小较小时，需要设置较小的学习率，否则模型会不收敛，因此学习率随批量大小的增加而反应也增大，即成正比关系。

习题7-2 在Adam算法中,说明指数加权平均的偏差修正的合理性（即公式(7.27)和公式(7.28)).

习题7-9 证明在标准的随机梯度下降中,权重衰减正则化和l,正则化的效果相同.并分析这一结论在动量法和 Adam算法中是否依然成立.

在标准的随机梯度下降中, 权重衰减正则化和 ℓ2 正则化的效果相同. 因此, 权重衰减在一些深度学习框架中通过 ℓ2 正则化来实现. 但是, 在较为复杂的优化方法( 比如 Adam) 中, 权重衰减正则化和 ℓ2 正则化并不等价.

全面总结网络优化