学习笔记(04):程序员的数学：优化理论-算法总结

立即学习:https://edu.csdn.net/course/play/26698/361513?utm_source=blogtoedu

梯度下降法适用于并行计算和分布式计算，因此现在人工智能使用梯度下降法比较多，容易陷入局部最优。

牛顿法，引入了二阶导数，需要做矩阵求逆，消耗计算。

共轭梯度法，和梯度下降有关，第一步就是求梯度，从第二步开始有区别，引入修正，更快的指定最低点，不需要像牛顿算法一样求Hessian矩阵的逆矩阵。