- 常用的模型学习优化算法主要有:梯度下降法、牛顿法、 拟牛顿法、 DFP算法、BFGS算法、改进的迭代尺度法。逻辑斯谛回归模型、 最大熵模型学习归结为以似然函数为目标函数的最优化问题, 通常通过迭代算法求解, 它是光滑的凸函数, 因此多种最优化的方法都适用。
- 梯度下降法是一种迭代算法.选取适当的初值x(0), 不断迭代, 更新x的值, 进行目标函数的极小化, 直到收敛。由于负梯度方向是使函数值下降最快的方向, 在迭代的每一步, 以负梯度方向更新x的值, 从而达到减少函数值的目的。
- 牛顿法是迭代算法, 每一步需要求解目标函数的海赛矩阵的逆矩阵, 计算比较复杂。拟牛顿法通过正定矩阵近似海赛矩阵的逆矩阵或海赛矩阵, 简化了这一计算过程。
注:本文的内容只是自己学习过程的一个总结,根据自己的学习感悟进行总结,以便自己日后好复习巩固,如有不对之处,敬请谅解,感谢李航老师的书籍和袁春老师的课件,让我学习到很多知识。
参考文献:
- 统计学习方法 [M]. 李航,
- 统计学习方法课件,袁春.