优化算法入门（待更新和排版）

牛顿法

• 牛顿法又称Newton-Rapson method，主要有两个重要的应用：求解方程的根、优化

• 牛顿法求解方程的根：使用泰勒展开将方程代表的函数在某个解的猜想出进行多项式展开，取一阶或者二阶项，同时舍去高阶项后，求解函数的零点，由此构成循环的主体。以后，以求解的零点作为下一次泰勒展开的值，进行迭代运算。

• 优化理论中的牛顿法：优化理论中的牛顿法同样没有脱离前面的大体思想：使用Taylor公式将函数在某个解的猜想处展开，取二阶项并求解其最值，将解作为下一次Taylor展开的值进行迭代。

• 特别地：使用一阶展开项求解方程的解时的方法被称为Gauss-Newton Method。对于高维空间的求解，通过引入Hessian矩阵后，牛顿法仍然可以使用，但是难度大大增加，可以使用拟牛顿法求解（近似Hessian矩阵）。

• 优化理论中的拟牛顿法(Quasi-Newton methond)：

最小二乘法

• 使用MES来最小化的问题的求解方法称为最小二乘法
• 思想：假设一个模型，然后求导/偏导为0，求问题的解
• 与神经网络中的MSE为loss求解存在不同：神经网络中模型是已经定好的。

拉格朗日乘数法

梯度下降法

• 最速下降法：就是梯度下降算法，梯度的方向就是下降最快的方向，而gradient-based method就更加宽泛。实际上上面的牛顿法也是一种gradient-based的方法，但是不是最速下降算法。
• 梯度下降法