机器学习、深度学习中的优化问题

机器学习、深度学习中的优化问题

一.最速下降法


二.共轭梯度法
共轭梯度法是最速下降法的改进方法，由于最速下降法可能前一次梯度下降与后一次梯度下降会产生冲突，后一次梯度下降抵消了一部分前一次梯度下降的成果。所以，产生了共轭梯度法。共轭梯度法中的每一次梯度下降都与前面的每一次梯度下降共轭，所以共轭梯度法没有无效的梯度下降。

三.牛顿法



牛顿法每一次迭代都会使用到Hessian矩阵，计算量大，所以产生了牛顿法的改进方法拟牛顿法
四.拟牛顿法
拟牛顿法的基本思想如下。首先构造目标函数在当前迭代
的二次模型：

拟牛顿法最关键的地方就是每一步迭代中矩阵
的更新。假设得到一个新的迭代
，并得到一个新的二次模型：

我们尽可能地利用上一步的信息来选取
。具体地，我们要求
，从而得到

五.KKT条件