本文介绍了非线性优化中的高斯牛顿法，包括Jacobian矩阵和Hessian矩阵的概念，重点阐述了最小二乘问题和高斯牛顿法的推导过程。文章讨论了该方法的优点（如简化牛顿法，避免计算Hessian矩阵）和缺点（对Jacobian矩阵的要求，可能影响收敛速度）。此外，还通过一个实例展示了高斯牛顿法在数据拟合中的应用，以及如何使用MATLAB实现。
有了牛顿法的基础(可参考非线性优化整理-1.牛顿法），即可进入非线性最小二乘法问题了。
基础
Jacobian矩阵
假设 f:Rm→Rn,m≥n f : R m → R n , m ≥ n 是一个从欧式n维空间转换到欧式m维空间的函数，这个函数由m个实函数组成: f1(x1,…,xn),…,fm(x1,…,xn) f 1 ( x 1 , … , x n ) , … , f m ( x 1 , … , x n ) 这些函数的偏导数(如果存在)可以组成一个 m∗n m ∗ n 的矩阵, 这就是所谓的Jacobian矩阵：
Jf=⎡⎣⎢⎢⎢⎢∂f1∂x1⋮∂fm∂x1⋯⋱⋯∂f1∂xn⋮∂fm∂xn⎤⎦⎥⎥⎥⎥ J f = [ ∂ f 1 ∂ x 1 ⋯ ∂ f 1 ∂ x n ⋮ ⋱ ⋮ ∂ f m ∂ x 1 ⋯ ∂ f m ∂ x n ]
Hessian矩阵
同样的，该函数的二阶偏导数组成的方块矩阵为Hessian矩阵
Hf=⎡⎣⎢⎢⎢⎢⎢∂2f∂x21⋮∂2f∂xn∂x1⋯⋱⋯∂2f∂x1∂xn⋮∂2f
最低0.47元/天 解锁文章
扫一扫
2248
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
