NNDL 作业12：第七章课后题

最新推荐文章于 2024-05-21 22:44:12 发布

Stacey.933

最新推荐文章于 2024-05-21 22:44:12 发布

阅读量124

点赞数 1

文章标签： python 人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/staceey/article/details/128306806

版权

目录

习题7-1 在小批量梯度下降中，试分析为什么学习率要和批量大小成正比

习题7-2 在Adam算法中，说明指数加权平均的偏差修正的合理性

习题7-9 证明在标准的随机梯度下降中，权重衰减正则化和编辑正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立

习题7-1 在小批量梯度下降中，试分析为什么学习率要和批量大小成正比

在小批量梯度下降中：

$g_{t}(\theta )=\frac{1}{K}\sum_{(x,y)\in S_{t}}\frac{\partial L(y,f(x;\theta ))}{\partial \theta }$

令 $g_{t}=\frac{1}{K}\delta$ ，则： $\theta _{t}=\theta _{t-1}-\frac{\alpha }{K}\delta$

因此要使得参数最优，则 $\frac{\alpha }{K}$ 为参数最优的时候的常数，故学习率和批量大小成正比。

批量大小越大,随机梯度的方差越小,引入的噪声也越小,训练也越稳定,因此可以设置较大的学习率；而批量大小较小时，需要设置较小的学习率，否则模型会不收敛，因此学习率通常随批量大小的增加而相应德增大，即成正比关系。

习题7-2 在Adam算法中，说明指数加权平均的偏差修正的合理性

在Adam算法中：

$M_{t}=\beta _{1}M_{t-1}+(1-\beta _{1})g_{t}$

$G_{t}=\beta _{2}G_{t-1}+(1-\beta _{2})\odot g_{t}$

因此当 $\beta_{1}\to 1,\beta _{2}\to 1$ 的时候：

$\lim_{\beta_{1} \to 1}M_{t}=M_{t-1}$

$\lim_{\beta_{2} \to 1}G_{t}=G_{t-1}$

因此可以发现此时梯度消失，因此需要进行偏差修正。

习题7-9 证明在标准的随机梯度下降中，权重衰减正则化和编辑正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立

L2正则化梯度更新的方向取决于最近一段时间内梯度的加权平均值。
当与自适应梯度相结合时（动量法和Adam算法），L2正则化导致导致具有较大历史参数 (和/或) 梯度振幅的权重被正则化的程度小于使用权值衰减时的情况。

总结：

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
NNDL 作业12：第七章课后题

NNDL 作业12：第七章课后题
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。