非线性优化算法总结 非线性优化方法: 1、梯度下降法: 对目标函数进行一阶泰勒近似 2、牛顿法:对目标函数二阶泰勒近似,需要计算Hessain矩阵 3、高斯牛顿法: J T J J^{T}J JTJ近似Hessain矩阵 4、列文伯格-马夸尔特(Lenverberg-Maquardt):综合梯度下降法和高斯牛顿法,为保证近似的Hessain矩阵正定,在 J T J J^{T}J JTJ上加入阻尼项 5、Dog-leg