NNDL 作业12：第七章课后题

最新推荐文章于 2024-07-19 22:29:08 发布

AI-2 刘子豪

最新推荐文章于 2024-07-19 22:29:08 发布

阅读量164

点赞数 1

文章标签：深度学习算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_52836183/article/details/128268365

版权

目录

习题7-1 在小批量梯度下降中,试分析为什么学习率要和批量大小成正比

习题7-2 在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28))

习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l2正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立

习题7-1 在小批量梯度下降中,试分析为什么学习率要和批量大小成正比

在小批量梯度下降中：

$g_t(\theta)=\frac{1}{K}\sum_{(x,y)\in S_t}^{}\frac{\partial L(y,f(x;\theta))}{\partial \theta}$

$\theta_t=\theta_{t-1}-\alpha g_t$

令 $g_t = \frac{1}{K}\delta$ ，则： $\theta_t = \theta_{t-1}-\frac{\alpha}{K}\delta$

因此我们要使得参数最优，则 $\frac{\alpha}{K}$ 为最优的时候的常数，故学习率要和批量大小成正比。

习题7-2 在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28))

公式7.27： $\hat{M}_t=\frac{M_t}{1-\beta_1^t}$

公式7.28： $\hat{G}_t=\frac{G_t}{1-\beta_2^t}$

在Adam算法中：
$M_t = \beta_1 M_{t-1}+(1-\beta_1)g_t$

$G_t = \beta_2 G_{t-1} + (1-\beta_2)\odot g_t$
因此当 $\beta_1\rightarrow 1$ ， $\beta_2 \rightarrow 1$ 的时候：
$\lim_{\beta_1\rightarrow 1} M_t = M_{t-1}$

$\lim_{\beta_2\rightarrow 1} G_t = G_{t-1}$
因此可以发现此时梯度消失，因此需要进行偏差修正。

习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l2正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立

L2正则化梯度更新的方向取决于最近一段时间内梯度的加权平均值。当与自适应梯度相结合时（动量法和Adam算法），L2正则化导致导致具有较大历史参数 (和/或) 梯度振幅的权重被正则化的程度小于使用权值衰减时的情况。

总结

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
1
评论
NNDL 作业12：第七章课后题

NNDL 作业12：第七章课后题
复制链接

扫一扫

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

AI-2 刘子豪 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。