牛顿法推导

最新推荐文章于 2022-06-28 12:04:07 发布

循环是人递归是神

最新推荐文章于 2022-06-28 12:04:07 发布

阅读量181

点赞数

分类专栏：数学

本文链接：https://blog.csdn.net/qq_35752161/article/details/97946127

版权

数学专栏收录该内容

5 篇文章 0 订阅

订阅专栏

求函数F(x)的最小值：

泰勒展开：

$F(\mathbf{x}+\mathbf{h})=F(\mathbf{x})+\mathbf{h}^{\top} \mathbf{g}+\frac{1}{2} \mathbf{h}^{\top} \mathbf{H} \mathbf{h}+O\left(\|\mathbf{h}\|^{3}\right)$

其中，

$\mathbf{g} \equiv \mathbf{F}^{\prime}(\mathbf{x})=\left[\begin{array}{c}{\frac{\partial F}{\partial x_{1}}(\mathbf{x})} \\ {\vdots} \\ {\frac{\partial F}{\partial x_{n}}(\mathbf{x})}\end{array}\right]$

$\mathbf{H} \equiv \mathbf{F}^{\prime \prime}(\mathbf{x})=\left[\frac{\partial^{2} F}{\partial x_{i} \partial x_{j}}(\mathbf{x})\right]$

$\mathbf{x}_{\mathrm{s}}$ 为 $F(\mathbf{x})$ 驻点，有 $\mathbf{g}_{\mathrm{s}} \equiv \mathbf{F}^{\prime}\left(\mathbf{x}_{\mathrm{s}}\right)=\mathbf{0}$ 。

$F(\mathbf{x})$ 在 $\mathbf{x}_{\mathrm{s}}$ 的泰勒展开为：

$F\left(\mathbf{x}_{\mathrm{s}}+\mathbf{h}\right)=F\left(\mathbf{x}_{\mathrm{s}}\right)+\frac{1}{2} \mathbf{h}^{\top} \mathbf{H}_{\mathrm{s}} \mathbf{h}+O\left(\|\mathbf{h}\|^{3}\right)$ ，其中 $\mathbf{H}_{\mathrm{s}}=\mathbf{F}^{\prime \prime}\left(\mathbf{x}_{\mathrm{s}}\right)$ 。

要保证驻点 $\mathbf{x}_{\mathrm{s}}$ 对应极小值点， $\mathbf{H}_{\mathrm{s}}$ 需为正定矩阵。

由于 ${F}^{\prime}\left(\mathbf{x}_{\mathrm{s}}\right)=\mathbf{0}$ ，有

$\mathbf{F}^{\prime}(\mathbf{x}+\mathbf{h})=\mathbf{F}^{\prime}(\mathbf{x})+\mathbf{F}^{\prime \prime}(\mathbf{x}) \mathbf{h}+O\left(\|\mathbf{h}\|^{2}\right)$ ，其中 $\mathbf{x}+\mathbf{h}=\mathbf{x}_{\mathrm{s}}\right)$

当 $\mathbf{h}$ 的范数足够小时，有 $\mathbf{F}^{\prime \prime}(\mathbf{x})\mathbf{h}_{\mathrm{n}}=-\mathbf{F}^{\prime}(\mathbf{x})$ ，下一次迭代 $\mathbf{x} :=\mathbf{x}+\mathbf{h}_{\mathrm{n}}$ 。通过多次迭代，使得最后的 $\mathbf{x}$ 逼近 $\mathbf{x}_{\mathrm{s}}\right)$ 。