《统计学习方法》学习笔记七

第六章 逻辑斯谛回归与最大熵模型

• 逻辑斯谛回归（logistic regression）是统计学习中的经典分类方法。

• 最大熵是概率学习模型的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy model）。

• 逻辑斯谛回归与最大熵模型都属于对数线性模型。

• 逻辑斯谛回归模型

• • 逻辑斯谛分布

• • 二项逻辑斯谛回归模型

• • • 二项逻辑斯谛回归模型（binomial logistic regression model）是一种分类模型，由条件概率分布P(Y|X)表示，形式为参数化的逻辑斯谛分布。

• • 模型参数估计

• • 多项逻辑斯谛回归

• 最大熵模型

• • 最大熵原理

• • • 最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。

• • • 通常用约束条件来确定概率模型的集合，所以，最大熵模型也可以表述为在满足约束条件的模型集合中选取熵最大的模型。

• • • 直观地，最大熵原理认为要选择的概率模型首先必须满足已有的事实，即约束条件。在没有更多信息的情况下，那些不确定的部分都是“等可能的”。最大熵原理通过熵的最大化来表示等可能性。

• • 最大熵模型的定义

• • 最大熵模型的学习

• • 极大似然估计

• • • 最大熵模型和逻辑斯谛回归模型有类似的形式，它们又成为对数线性模型（log linear model）。模型学习就是在给定的训练数据条件下对模型进行极大似然估计或者正则化的极大似然估计。

• 模型学习的最优化算法

• • 改进的迭代尺度法

• • 拟牛顿法