[阅读笔记]《统计学习方法》李航著：Chp6 逻辑斯谛回归与最大熵模型

[阅读笔记]《统计学习方法》李航著：Chp6 逻辑斯谛回归与最大熵模型

本章概要

6.1 逻辑斯谛回归模型

1. 逻辑斯谛分布：分布函数是以点$(\mu,\frac{1}{2} )$为中心对称的S形曲线
2. 几率(oods): 事件发生的概率与事件不发生的概率的比值
3. 对数几率
4. 多项逻辑斯谛回归

6.2 最大熵模型

1. 最大熵原理：在所有可能的概率模型中，熵最大的模型是最好的模型；通过熵的最大化来表示等可能性
2. 解决最优化问题的习惯，将求最大值问题改写为等价的求最小值问题
3. 如果目标函数是光滑的凸函数，可以将约束最优化的原始问题转换为无约束最优化的对偶问题

6.3 模型学习的最优化算法

1. 光滑的凸函数的最优化问题，有多种最优化方法可用来寻找全局最优解，常用的有：改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法(收敛速度更快)