最小二乘法
梯度下降法
- 梯度下降的基本思想是:
- 缺点
鞍点(saddle point)陷阱,局部最小值
牛顿法
牛顿法(Newton method)是求解无约束最优化问题的常用方法,有收敛速度快的优点。牛顿法是迭代算法,每一步都需求解目标函数的海塞矩阵(Hessian Matrix),计算比较复杂。
高斯牛顿法
详情网址
就是在牛顿法上 不需要计算hessian矩阵了,利用雅可比矩阵可以得到hessian矩阵
4.LM算法
牛顿法(Newton method)是求解无约束最优化问题的常用方法,有收敛速度快的优点。牛顿法是迭代算法,每一步都需求解目标函数的海塞矩阵(Hessian Matrix),计算比较复杂。
详情网址
就是在牛顿法上 不需要计算hessian矩阵了,利用雅可比矩阵可以得到hessian矩阵