一、牛顿法主要有两个应用方向:
- 求方程的根
- 求函数最优化求解
二、求方程的根:
- 假设我们现在要求方程 f ( x ) = 0 f(x)=0 f(x)=0的根 x ∗ x^* x∗:
- 第一步:对 f ( x ) f(x) f(x)进行一阶泰勒展开: f ( x ) ≈ f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) f(x)≈f(x_0 )+f'(x_0 )(x-x_0) f(x)≈f(x0)+f′(x0)(x−x0) g ( x ) = f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) g(x)=f(x_0 )+f'(x_0 )(x-x_0) g(x)=f(x0)+f′(x0)(x−x0) g ( x ) g(x) g(x)为 f ( x ) f(x) f(x)的一阶泰勒展开,其实质就是 f ( x ) f(x) f(x)在 x 0 x_0 x0点的切线方程,根据泰勒公式的性质我们知道 f ( x ) f(x) f(x)和 g ( x ) g(x) g(x)在 x 0 x_0 x0点附近的值可以非常接近。
- 第二步:求出 g ( x ) g(x) g(x)的根 x 1 x_1 x1: f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) = 0 f(x_0 )+f' (x_0 )(x-x_0 )=0 f(x0)+f′(x0)(x−x0)=0 x 1 = x 0 − f ( x 0 ) f ′ ( x 0 ) x_1=x_0-\frac{f(x_0 )}{f'(x_0 )} x1=x0−f′(x0)f(x0)
- 第三步:重复第一步和第二步直到收敛: x k + 1 = x k − f ( x k )