- 博客(1)
- 收藏
- 关注
原创 Datawhale X李宏毅苹果书 AI夏令营 Task1
但 L2 的函数跟 L1 又不一样,L2 不一定会卡住,可以换下个批量的损失 L2 计算梯度,模型还是可以训练,还是有办法让损失变小,所以这种有噪声的更新方式反而对训练其实是有帮助的。实际上当批量大小小的时候,要“跑”完一个回合,花的时间是比大的。在有考虑并行计算的时候,大的批量大小反而是较有效率的,一个回合大的批量花的时间反而是比较少的。参照现实中物体的惯性,引入动量,每次在移动参数的时候,不是只往梯度的反方向来移动参数,而是根据梯度的反方向加上前一步移动的方向决定移动方向,用于对抗鞍点或局部最小值。
2024-08-26 22:46:40
673
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人