Devilshubert的博客

原创 深度学习之pytorch小技巧积累

1.Regularization-正则化·基础： L1正则化 L2正则化2.动量（momentum）·本质：在每一次个更新tensor时，都记忆上一次梯度下降的方向加入动量的权重更新，不会使得权值的梯度下降的方向特别分散，因为记忆了上一次梯度的方向（特别是优化前期）并且加入动量更不会陷入局部最优解（当某一处存在局部最优解时，不会马上朝着梯度下降最陡的方向，因为综合了上一次的梯度方向） ·未加入动量时的优化 ·加入动量后的优化可...