2301_79766496的博客

原创 Datawhale X李宏毅苹果书 AI夏令营 Task1

但 L2 的函数跟 L1 又不一样，L2 不一定会卡住，可以换下个批量的损失 L2 计算梯度，模型还是可以训练，还是有办法让损失变小，所以这种有噪声的更新方式反而对训练其实是有帮助的。实际上当批量大小小的时候，要“跑”完一个回合，花的时间是比大的。在有考虑并行计算的时候，大的批量大小反而是较有效率的，一个回合大的批量花的时间反而是比较少的。参照现实中物体的惯性，引入动量，每次在移动参数的时候，不是只往梯度的反方向来移动参数，而是根据梯度的反方向加上前一步移动的方向决定移动方向，用于对抗鞍点或局部最小值。