2021-07 李宏毅机器学习打卡Task05：网络设计的技巧

Task05 网络设计的技巧

学习地址

• 李宏毅机器学习B站视频地址
• new: 2021春课程视频地址
• 李宏毅机器学习开源笔记地址
• 论坛版块

网络设计的技巧(解决神经网络训练问题)

(一)局部最小值(local minima)与鞍点(saddle point)

• loss不下降的一个可能原因：卡在了critical point
  critical point 即梯度接近0的点，包括local minima和saddle point
  
• How to do with critical point?
  • if meeting local minima: no way;
  • if meeting saddle point: escape
    How to escape the saddle point?
    理论上，可以通过算出Hessian矩阵的特征值，朝着负特征值对应的特征向量的方向更新即可以escape the saddle point and decrease the loss.

• 如何判断是local minima还是saddle point?
  提示：用到了Taylor 级数近似，此时一阶近似项为0，考虑二阶近似项，最终转化为计算Hessian矩阵，计算其特征值从而判断是否正定
  
  
• Saddle point v.s. Local minima
  • local minima 在更高的维度上来看可能就变成 saddle point了
  • 经验上来看，local minima 并没有那么常见
    </