优化算法概述

各种优化算法的对比

方法	介绍	迭代公式
最速下降法	负梯度方向，收敛速度慢	X(k+1)=X(k)-a*J(k)
牛顿法	保留泰勒级数的一阶和二阶项，二阶收敛速度快	X(k+1)=X(k)-H^-1*J(k)
高斯牛顿法	目标函数的Jacobian矩阵近似H矩阵，提高算法效率	X(k+1)=X(k)-(J(k)^T*J(k))^-1*g(k)
LM算法	信赖域算法，解决H矩阵不满秩或非正定	X(k+1)=X(k)-(J(k)^T*J(k)+u)^-1*g(k)

注释：其中J(k)为目标函数的Jacobin矩阵，g(k)为Jacobin矩阵的转置乘以残差矩阵