非线性优化整理-1.牛顿法

作为非线性优化的基础，先从牛顿法开始
牛顿法Newton’s method，又称牛顿-拉弗森法（Newton-Raphson’s method)
可用来1.求解方程根 2.求解极值

1.求解方程0点

目标：求解$f(y)=0$的根
计算穿过初始值点$(x_0,f(x_0))$并且斜率为$f'(x_0)$的直线与$x$轴的焦点可得

$$0=(x-x_0)f'(x_0)+f(x_0)$$
因此迭代公式为

$$x_{n+1}=x_n-\frac{f(x_n)}{f'(x_{n})}$$

2.求解一维无约束最小值

目标：求解$min f(x) , x\in R$的根
牛顿法也可用来求解函数的极值。函数极值点处的导数值为零，故可用牛顿法求导函数的零点。
$f(x+\Delta)$的二阶泰勒展开为

f(x+Δ)=f(x)+f′(x)Δ+1