牛顿迭代法

迭代函数

对于方程 $f(x) = 0,$
若在 $x^*$ 点满足 $f(x^*) = 0,$ 则 $x^* = F(x^*),$ 反之亦然，则称 $F(x)$ 为迭代函数。

牛顿迭代法

设 $f(x)$ 在含有 $x^*$ 的某个区间 $[a, b]$ 中有二阶连续导数，且对于任意一个 $x \in [a, b]$ 都有 $f'(x) \neq 0,$ 做出 $f(x)$ 在任意一点 $x_0 \in [a, b]$ 处的 Taylor 公式，由于 $x^*$ 是方程 $f(x) = 0$ 的解，则
$f(x^*) = f(x_0) + f'(x_0) (x^* - x_0)+ \dfrac {1}{2} f''(x_0 + \theta (x^* - x_0)) (x^* - x_0)^2 = 0$
$\Rightarrow \dfrac {f(x_0)} {f'(x_0)} + x^* - x_0 + \dfrac {1}{2} \dfrac { f''(x_0 + \theta (x^* - x_0))} {f'(x_0)} (x^* - x_0) ^2 = 0$
$\Rightarrow x^* = x_0 - \dfrac {f(x_0)} {f'(x_0)} - \dfrac {1}{2} \dfrac { f''(x_0 + \theta (x^* - x_0))} {f'(x_0)} (x^* - x_0)^2$

即 $\forall x \in [a, b], x^* = x - \dfrac {f(x)} {f'(x)} - \dfrac {1}{2} \dfrac { f''(x + \theta (x^* - x))} {f'(x)} (x^* - x)^2$
当 $x \to x^*$ 时，上式的最后一项是趋近于零的，因此有
$\lim \limits_{x \to x^*} \left [ x - \dfrac {f(x)} {f'(x)} \right ] = x^* - \dfrac {f(x^*)} {f'(x^*)} = x^*$
这样，
$F(x) = x - \dfrac {f(x)} {f'(x)}$ 就是一个满足要求的迭代函数，由此得到迭代公式

$$x_{n + 1} = x_{n} - \dfrac {f(x_{n})} {f'(x_{n})}$$

性质

1. 若 $\{ x_n \}$ 收敛，则 $\lim \limits_{n \to \infty} x_n = x^*$ 这是因为：
   设$\lim \limits_{n \to \infty} x_n = x,$ 则：
   $x = \lim \limits_{n \to \infty} x_{n + 1} = \lim \limits_{n \to \infty} \left [ x_{n} - \dfrac {f(x_{n})} {f'(x_{n})} \right ] = x - \dfrac {f(x)} {f'(x)}$
   $\Rightarrow f(x) = 0 \Rightarrow x = x^*$
2. 由于 $x^* = x_n - \dfrac {f(x_n)} {f'(x_n)} - \dfrac {1}{2} \dfrac { f''(x_n + \theta (x^* - x_n))} {f'(x_n)} (x^* - x_n)^2,$ 因此若 $\{ x_n \}$ 收敛，则
   $x^* - x_{n + 1} = x^* - \left [x_{n} - \dfrac {f(x_{n})} {f'(x_{n})} \right ] = - \dfrac {1}{2} \dfrac { f''(x_n + \theta (x^* - x_n ))} {f'(x_n )} (x^* - x_n )^2$
   $\Rightarrow \dfrac {x^* - x_{n + 1}} {(x^* - x_n )^2} = - \dfrac {1}{2} \dfrac { f''(x_n + \theta (x^* - x_n ))} {f'(x_n )}$
   $\Rightarrow \lim \limits_{n \to \infty} \left \vert \dfrac {x^* - x_{n + 1}} {(x^* - x_n )^2} \right \vert = \dfrac {1}{2} \left \vert \dfrac { f''(x^*)} {f'(x^* )} \right \vert = C$
   因此我们称，牛顿法是一个二次收敛的迭代法。