最优化理论与方法-牛顿迭代法

关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习，分享我在学习过程中的读书笔记！一起来学习，一起来交流，一起来进步吧！

本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s?__biz=MzI5NDMzMjY1MA==&mid=2247484083&idx=1&sn=29d8e300fbfbd4daf2df4596fd05462d&chksm=ec653336db12ba209c1de6eab9d4101c90fec0ed9cd1bc80161852631ad1f9d820863c804cee#rd

目录：

1. 简介牛顿迭代法

2. 牛顿迭代法公式

3. 牛顿迭代法的收敛性

4. 牛顿法的改进

5. 牛顿法和梯度下降法的区别

一、简介牛顿法

迭代法也称为辗转法，是一种不断用变量的旧值递推新值的过程，跟迭代法相对应的是直接法，即一次性解决问题。但多数方程不存在求根公式，因此求解根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。

迭代算法是用计算机解决问题的一种基本方法。它利用计算机运算速度快、适合做重复性操作的特点，让计算机对一组指令或一定步骤进行重复执行，在每次执行这组指令或这些步骤时，都从变量的原值推出它的一个新值。

利用迭代算法解决问题，需要做好以下3方面的工作：

1. 确定迭代变量。在可以用迭代算法解决的问题中，至少存在一个直接或间接地不断由旧值递推出新值的变量，这个变量就是迭代变量。

2. 建立迭代关系式。所谓迭代关系式，是指如何从变量的前一个值推出下一个值的公式或关系。迭代关系式的建立是解决迭代问题的关键，通常可以使用递推或倒推的方法来完成。

3. 对迭代过程进行控制。在什么时候结束迭代过程？这是编写迭代程序必须考虑的问题。不能让迭代过程无休止地重复下去。迭代过程的控制通常可以分为两种情况：（一）所需的迭代次数是个确定的值，可以计算出来。（二）所需的迭代次数无法确定，需要程序员进步一分析出用来结束迭代过程结束的条件。

牛顿迭代法（Newton’smethod）又称为牛顿-拉夫逊（拉夫森）方法。它是牛顿在17世纪提出的一种在实数