最大熵模型——数学模型

【最大熵模型】

【最大熵原理】

不再赘述最大熵原理，简言之，最大熵原理认为所选择的模型必须满足约束条件，不确定的部分都认为是等可能的。利用熵的最大化实现等可能的表示。

熵公式：            

 

其中    ，   表示X的取值个数，当且仅当X的分布式均匀分布时等号成立。即，X服从均匀分布时，熵最大。

 

【最大熵模型的定义】

最大熵模型，顾名思义就是将最大熵原理应用到分类训练出的模型。

【分类模型】 条件概率分布  

【输入】  

【输出】  

【模型表示】对于给定的输入X以条件概率输出Y。

【学习目标】对于给定训练数据集   运用最大熵原理选择最好的分类模型。

 

补充知识：【经验分布函数】

【模型满足条件】

（1）对于给定数据集T,确定联合分布和边缘分布的经验分布,分别记为,  

 

其中，表示数据集中样本（x,y）出现的频数，N 表示训练样本