目录
习题7-1 在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.
习题7-2在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).
习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l,正则化的效果相同.并分析这一结论在动量法和 Adam算法中是否依然成立.
习题7-1 在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.
在小批量梯度下降中有:
习题7-2在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).
在Adam算法中:
因此当β 1 → 1, β 2 → 1 的时候:
因此可以发现此时梯度消失,因此指数加权平均需要进行偏差修正。
习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l,正则化的效果相同.并分析这一结论在动量法和 Adam算法中是否依然成立.
L2正则化梯度更新的方向取决于最近一段时间内梯度的加权平均值。当与自适应梯度相结合时(动量法和Adam算法),L2正则化导致导致具有较大历史参数 (和/或) 梯度振幅的权重被正则化的程度小于使用权值衰减时的情况。
第七章总结