模型学习的优化算法---笔记

1. 常用的模型学习优化算法主要有：梯度下降法、牛顿法、 拟牛顿法、 DFP算法、BFGS算法、改进的迭代尺度法。逻辑斯谛回归模型、 最大熵模型学习归结为以似然函数为目标函数的最优化问题， 通常通过迭代算法求解， 它是光滑的凸函数， 因此多种最优化的方法都适用。
2. 梯度下降法是一种迭代算法.选取适当的初值x(0)， 不断迭代， 更新x的值， 进行目标函数的极小化， 直到收敛。由于负梯度方向是使函数值下降最快的方向， 在迭代的每一步， 以负梯度方向更新x的值， 从而达到减少函数值的目的。
3. 牛顿法是迭代算法， 每一步需要求解目标函数的海赛矩阵的逆矩阵， 计算比较复杂。拟牛顿法通过正定矩阵近似海赛矩阵的逆矩阵或海赛矩阵， 简化了这一计算过程。

注：本文的内容只是自己学习过程的一个总结，根据自己的学习感悟进行总结，以便自己日后好复习巩固，如有不对之处，敬请谅解，感谢李航老师的书籍和袁春老师的课件，让我学习到很多知识。

参考文献：

1. 统计学习方法 [M]. 李航，
2. 统计学习方法课件，袁春.