最大熵模型

模型的概述

1.什么是最大熵模型，最大熵模型要完成的任务是什么

• 假设分类模型是一个条件概率分布P(Y|X),X和Y分别表示输入和输出集合，模型的任务是对于给定的输入X，以条件概率P(Y|X)输出Y。
• 条件概率分布P(Y|X)，表示在已知约束的情况下的概率分布，但是在实际应用中发现：满足约束条件的情况下的分布有无数个

例如：

可以看到满足约束的条件有很多，比如（图1）

（图2）

• 最大熵的作用就是，选择一个最好的概率分布P(Y|X)：原理就是最大化条件熵，可以看到在整个过程中，最大熵起到损失函数的作用

通俗理解条件熵

参考

1. 信息熵
   信息量是对信息不确定的度量（单位bit或者内特）
   信息熵是事件信息量的期望，[可以理解为对信息量的加权就和]，所以也是对事件不确定度的度量
   公式：
   
   2.条件熵
   条件熵的定义是：定义为X给定条件下，Y的条件概率分布的熵对X的数学期望
   通俗理解为：在已知随机变量的条件下，随机变量Y的不确定性
   
   详细介绍可以参阅CSDN（写的非常好！）
   可以总结为：条件熵意思是按一个新的变量的每个值对原变量进行分类，然后在每一个小类里面，都计算一个小熵，然后每一个小熵乘以各个类别的概率，然后求和。完全可以看见在加入已知条件的情况下，事件不确定度的变化（信息增益）

模型描述

最大熵模型要求满足已知的所有约束。约束获取方式：从训练集中获取特征，然后要求这些特征在训练样本中的数学期望和它在模型中的数学期望相等（一个特征就能对应一个约束）

1. 特征函数（二值函数）
   
   当x和y满足一个事实取值为1，否则为0
2. 经验分布
   训练数据集的联合分布P（X,Y）的经验分布和边缘分布P（X）：
   
3. 数学期望
   特征函数f(x,y)关于经验分布的期望
   
   特征函数f(x,y)关于模型P（Y|X）与经验分布的期望
   
   两个期望值相等就是最大熵模型的约束条件
4. 模型描述
   
   当H（P）最大时，就是最大熵模型