挖掘原理|牛顿法和拟牛顿法详解

尘落心上

已于 2022-09-19 00:03:23 修改

阅读量789

点赞数 1

文章标签：学习人工智能算法机器学习

于 2022-09-11 17:29:40 首次发布

本文链接：https://blog.csdn.net/qq_43497781/article/details/126805189

版权

本文详细介绍了牛顿切线法求解方程近似解的步骤，包括牛顿法的迭代公式推导，并探讨了在数值最优化中牛顿法的应用。接着，文章阐述了拟牛顿法的由来，它通过找寻海塞矩阵的替代品解决实际计算中的问题。内容涵盖了二阶泰勒展开和迭代公式，以及DFP算法中的校正矩阵计算。

摘要由CSDN通过智能技术生成

牛顿切线法求 $f (x) = 0$ 的解

牛顿切线法是一种求方程近似解的数值解法，我们可以通过我们先通过具体的例子感受牛顿切线法。

例： $f(x)=x^2$ ，求 $f (x) = 0$
（1）先任取函数上一点 $x_{1},y_{1})$ 为 $(1, 1)$ ，求解该点的切线方程 $y_{1}=2x-1$ ，求该切线方程与 $x$ 轴交点的横坐标0.5为 $x_{2}$ ，求得第二个点 $x_{2},y_{2})$ 为 $(0.5, 0.25)$
在这里插入图片描述

（2）求 $x_{2},y_{2})$ 处的切线方程 $l2:y_{2}=x-0.25$ ，求该切线方程与 $x$ 轴交点的横坐标0.25为 $x_{3}$ ，求得第三个点 $x_{3},y_{3})$ 为 $(0.25, 0.0625)$
不断重复上述过程，即可不断逼近 $f (x) = 0$ 处的点，如图所示：
在这里插入图片描述
这就是牛顿切线法的过程，事实上，牛顿切线法的思想是构造一收敛点列 ${x_{n}}$ ，使其极限 $\underset{n\rightarrow \infty}{\lim}x_{n}=\xi$ 恰好为方程 $f (x) = 0$ 的解，构造方法即为上述所示.