NNDL 作业12：第七章课后题

最新推荐文章于 2024-08-23 17:04:21 发布

乳酸蔓越莓吐司

最新推荐文章于 2024-08-23 17:04:21 发布

阅读量236

点赞数 1

文章标签：算法深度学习人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_51316271/article/details/128266605

版权

目录

习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.

习题7-2 在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).

习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l2正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立.

习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.

在小批量梯度下降中有：

其中 $g_t = \frac{1}{K}\delta$ ,则 $\theta_t = \theta_{t-1}-\frac{\alpha}{K}\delta$

因此我们要使得参数最优，则 $\frac{\alpha}{K}$ 为最优的时候的常数，故学习率要和批量大小成正比。

习题7-2 在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).

公式7.27： $\hat{M}_t=\frac{M_t}{1-\beta_1^t}$

公式7.28： $\hat{G}_t=\frac{G_t}{1-\beta_2^t}$

在Adam算法中：
$M_t = \beta_1 M_{t-1}+(1-\beta_1)g_t$

$G_t = \beta_2 G_{t-1} + (1-\beta_2)\odot g_t$
因此当 $\beta_1\rightarrow 1$ ， $\beta_2 \rightarrow 1$ 的时候：
$\lim_{\beta_1\rightarrow 1} M_t = M_{t-1}$

$\lim_{\beta_2\rightarrow 1} G_t = G_{t-1}$
因此可以发现此时梯度消失，因此需要进行偏差修正。

习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l2正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立.

参考自：神经网络与深度学习[邱锡鹏] 第七章习题解析

L2正则化梯度更新的方向取决于最近一段时间内梯度的加权平均值。
当与自适应梯度相结合时（动量法和Adam算法），L2正则化导致导致具有较大历史参数 (和/或) 梯度振幅的权重被正则化的程度小于使用权值衰减时的情况。

总结

本学期最后一个实验作业，一整个学期学下来收获很大。锻炼了很多自学、自己以及和同学交流来解决问题的能力，总之，确实是实践出真知。

乳酸蔓越莓吐司

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
NNDL 作业12：第七章课后题

作业12
复制链接

扫一扫

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。