最大熵模型是一种在特征条件下保留最大不确定性的概率分布选择方法。它基于熵的概念，熵值越大表示随机变量的不确定性越高。当仅掌握部分关于未知分布的知识时，最大熵模型会选择熵最大的概率分布作为最优解。在学习过程中，模型通过满足特定特征函数的期望值与经验分布相等的约束条件来优化。最大熵模型通常用于解决如自然语言处理中的分类问题。
1、熵：随机变量不确定性的度量，不确定性越大，熵值越大；若随机变量退化为定值，熵为0。均匀分布是最不确定的分布。
假设离散随机变量x的概率分布为p(x)，则其熵为：
，其中0
H（p）log
。
其中|X|是X的取值个数.当且仅当X的分布是均匀分布时右边等号成立, 也就是说, 当X服从均匀分布时, 熵最大。
2、最大熵：保留最大的不确定性（让熵达到最大）
3、最大熵模型的原理：在特征条件限制下，提取最优的概率分布(在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布)
给定一个训练数据集：T={(
最低0.47元/天 解锁文章
扫一扫
851
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
