牛顿法

1.牛顿法是求解优化问题的一种方法，核心思想是在某点处用二次函数来近似目标函数

2.牛顿法面临三个局限：局部极值或鞍点；迭代过程不能保证函数值下降；求解海森逆矩阵计算量大

3.利用直线搜索或可信区域法解决第二个局限，利用拟牛顿法解决第三个局限

4.拟牛顿法的核心是通过其他手段得到海森矩阵或其逆矩阵的近似矩阵

5.符合拟牛顿条件的算法大体上有两种：DFP算法和BFGS算法

6.实际应用最多的是L-BFGS算法,它减少BFGS算法迭代过程中所需的内存开销

针对凸优化问题有两种求解方法，一种是梯度下降法，另外一种就是今天要介绍的算法——牛顿法。

牛顿法也是寻找导数为0的点，同样是一种迭代法。核心思想是在某点处用二次函数来近似目标函数，得到导数为0的方程，求解该方程，得到下一个迭代点。

我们在文章无穷小、梯度向量和泰勒展开介绍了一元函数的泰勒展开，这一节需要用到多元函数的泰勒展开，因此先从这里开始介绍。

预备知识