AI重温：最大熵模型

• 理解最大熵原理的相关解释：

    在满足已有的事实（约束条件）的情况下，若没有其他更多的信息，那么剩下的一些不能确定的部分都应当作“等可能的”，也就是一个模型如果是等可能的，它的不确定性就很大。即：满足已知信息（约束条件），不做任何未知假设，把未知事件当成等概率事件处理。

• 最大熵模型的定义

    整体分为两部分：提出约束条件+选择最优模型 

 

•  最大熵模型的求解（学习）

     基本要点：凸优化函数构造+lagrange乘数法+对偶转换+最大似然求解

 

参考链接：https://www.cnblogs.com/breezezz/p/11284436.html