有了牛顿法的基础(可参考非线性优化整理-1.牛顿法),即可进入非线性最小二乘法问题了。
基础
Jacobian矩阵
假设 f:Rm→Rn,m≥n f : R m → R n , m ≥ n 是一个从欧式n维空间转换到欧式m维空间的函数,这个函数由m个实函数组成: f1(x1,…,xn),…,fm(x1,…,xn) f 1 ( x 1 , … , x n ) , … , f m ( x 1 , … , x n ) 这些函数的偏导数(如果存在)可以组成一个 m∗n m ∗ n 的矩阵, 这就是所谓的Jacobian矩阵:
Jf=⎡⎣⎢⎢⎢⎢∂f1∂x1⋮∂fm∂x1⋯⋱⋯∂f1∂xn⋮∂fm∂xn⎤⎦⎥⎥⎥⎥ J f = [ ∂ f 1 ∂ x 1 ⋯ ∂ f 1 ∂ x n ⋮ ⋱ ⋮ ∂ f m ∂ x 1 ⋯ ∂ f m ∂ x n ]
Hessian矩阵
同样的,该函数的二阶偏导数组成的方块矩阵为Hessian矩阵
Hf=⎡⎣⎢⎢⎢⎢⎢∂2f∂x21⋮∂2f∂xn∂x1⋯⋱⋯∂2f∂x1∂xn⋮∂2f