参考1 https://www.zhihu.com/question/20690553/answer/146104283
参考2 https://www.cnblogs.com/gaoxing2580/p/12423432.html
先看上边参考链接,下边是我补充的一些想法。补充想法的原因是,参考了很多文章,但理解思路之间差异很大。一半是说几何理解的,即以直代曲,用切线的根去逼近原函数的根。一半是说数学理解的,即用泰勒公式近似,然后进行推导。但是求根用的是一阶导数写出切线,泰勒展开又要展成二阶导数,让我很困惑。下边我经过思考,给这两种思路联系了一下。
首先回到我们用牛顿法的初衷上,是为了求解函数极值。只不过函数比较复杂难以直接求解,所以考虑用迭代的方式去逼近。也即目标函数为:
求函数极值,也就是求导数为0的点。也就是求导函数f’(x)=0的根。这里虽然我还写的f’(x),但是指代的是导函数,而不是导数。导数只是一个标量,是一个变换率。而导函数是一个函数曲线,是对原函数f(x)每一点求导之后形成的新曲线。这个思路的转换很有意思,这样就把求原函数f(x)极值的问题,转换成了求新函数f’(x)=0的根的问题。
现在把对f’(x)=0进行求根作为我们的目标问题时,我们发现就回到了参考一的几何视角上了。我们在导函数f’(x)曲线上某一点做切线,切线斜率就是对f’(x)求导,也就是原函数f(x)的二阶导f’’(x)。可以写出切线方程:
这里令f’(xn+1)=0找到xn+1的值,也就是切线与x轴的交点,也就是我找的下一步迭代的目标点。
注意上边这个公式,也就是对原函数做泰勒展开后,扔掉二次以上项:
然后再求导数为0找极值点的公式:
(注意:上边我们总假设令函数导数为0就可以得到极值,其实是不对的,还可以是驻点等等很多情况。这也是牛顿法不严谨的原因之一,并不肯定能收敛到极值点。)