理解牛顿法

参考1 https://www.zhihu.com/question/20690553/answer/146104283
参考2 https://www.cnblogs.com/gaoxing2580/p/12423432.html

先看上边参考链接，下边是我补充的一些想法。补充想法的原因是，参考了很多文章，但理解思路之间差异很大。一半是说几何理解的，即以直代曲，用切线的根去逼近原函数的根。一半是说数学理解的，即用泰勒公式近似，然后进行推导。但是求根用的是一阶导数写出切线，泰勒展开又要展成二阶导数，让我很困惑。下边我经过思考，给这两种思路联系了一下。

首先回到我们用牛顿法的初衷上，是为了求解函数极值。只不过函数比较复杂难以直接求解，所以考虑用迭代的方式去逼近。也即目标函数为：

求函数极值，也就是求导数为0的点。也就是求导函数f’(x)=0的根。这里虽然我还写的f’(x)，但是指代的是导函数，而不是导数。导数只是一个标量，是一个变换率。而导函数是一个函数曲线，是对原函数f(x)每一点求导之后形成的新曲线。这个思路的转换很有意思，这样就把求原函数f(x)极值的问题，转换成了求新函数f’(x)=0的根的问题。

现在把对f’(x)=0进行求根作为我们的目标问题时，我们发现就回到了参考一的几何视角上了。我们在导函数f’(x)曲线上某一点做切线，切线斜率就是对f’(x)求导，也就是原函数f(x)的二阶导f’’(x)。可以写出切线方程：

这里令f’(x_n+1)=0找到x_n+1的值，也就是切线与x轴的交点，也就是我找的下一步迭代的目标点。

注意上边这个公式，也就是对原函数做泰勒展开后，扔掉二次以上项：

然后再求导数为0找极值点的公式：

（注意：上边我们总假设令函数导数为0就可以得到极值，其实是不对的，还可以是驻点等等很多情况。这也是牛顿法不严谨的原因之一，并不肯定能收敛到极值点。）