作为非线性优化的基础,先从牛顿法开始
牛顿法Newton’s method,又称牛顿-拉弗森法(Newton-Raphson’s method)
可用来1.求解方程根 2.求解极值
1.求解方程0点
目标:求解 f(y)=0 f ( y ) = 0 的根
计算穿过初始值点 (x0,f(x0)) ( x 0 , f ( x 0 ) ) 并且斜率为 f′(x0) f ′ ( x 0 ) 的直线与 x x 轴的焦点可得
因此迭代公式为
xn+1=xn−f(xn)f′(xn) x n + 1 = x n − f ( x n ) f ′ ( x n )
2.求解一维无约束最小值
目标:求解 minf(x),x∈R m i n f ( x ) , x ∈ R 的根
牛顿法也可用来求解函数的极值。函数极值点处的导数值为零,故可用牛顿法求导函数的零点。
f(x+Δ) f ( x + Δ ) 的二阶泰勒展开为
f(x+Δ)=f(x)+f′(x)Δ+1