最大熵模型

最大熵模型一般用来解决nlp中的问题。

最大熵模型本质上和lr是一样的，都是线性模型，都是指数形式。最大熵的优化目标是熵值最大，再加上经验概率的约束，推导过程太复杂，看不懂，但结果和lr是一样的。

在网上的最大熵模型示例中，都会有个特征函数，这里的特征函数可看作是lr模型的feature-mapping。

最大熵模型和lr模型的介绍看这里：

统​计​学​习​方​法​6​章​-​逻​辑​斯​蒂​回​归​与​最​大​熵

http://wenku.baidu.com/link?url=uik8SrdWNtaDtxt8SY2gqcSLjNNYsjKmfEKaP1r4Ij-k1zLwdtMQL8gapPpRAiG6z8DnbxFvLM3a8p6zatCOr3fYGrMya5LIRulAPlfB1WK

在之前的gbdt算法学习中，也有多分类lr的介绍，模型样式和最大熵是一致的。链接是这个：http://blog.csdn.net/u012159053/article/details/27109393

最大熵模型介绍及实现

http://blog.csdn.net/erli11/article/details/24718655

这个文章里对特征函数的介绍更具体一些。

后面还需要动手实现一遍最大熵算法，理解一下特征函数的设定以及参数估计。