梯度下降优化方法 与 自动控制 的关系

梯度下降的各种优化算法下面参考文献表述都很全面了，不在赘述，主要谈谈个人理解

其实对SGD的优化，跟自动控制中的PID思路其实是一样的

• P(Propotion)比例项即当前偏差
• I(Intergration)积分项即偏差的累积
• D(differentiation)微分项即偏差的变化

SGD加入微分项，即对梯度中与此前优化的方向相同的方向进行加权，相反的方向进行降权，即Monentum，可以防止每次迭代下降梯度在某个方向上反复震荡

SGD加入积分项，即对梯度中累积优化多的方向进行降权，累积优化少的方向进行升权，即Adagrad，可以防止某个方向由于训练样本原因导致的在某个方向上下降过慢

SGD同时加入积分项和微分项，即Adam，可以综合两者的优点

参考文献：

https://zhuanlan.zhihu.com/p/32626442

https://zhuanlan.zhihu.com/p/22252270