最大熵模型简介[例子+推导+GIS求解…

这篇文章是结合论文http://www.cqvip.com/Main/Detail.aspx?id=7707219对博文：http://www.cnblogs.com/hexinuaa/p/3353479.html加入自己的理解做了简化重写，另外本文末尾附上了最大熵模型的实现。

  一个例子 我们通过一个简单的例子来了解最大熵的概念。假设现在需要做一个自动将英语到法语的翻译模型，为了方便说明，我们将这个问题简化为将英文句子中的单词{in}翻译成法语词汇。那么翻译模型p就是对于给定包含单词”in”的英文句子，需要给出选择某个法语单词f做为”in”的翻译结果的概率p(f)。为了帮助开发这个模型，需要收集大量已经翻译好的样本数据。收集好样本之后，接下来需要做两件事情：一是从样本中抽取规则（特征），二是基于这些规则建立模型。
从样本中我们能得到的第一个规则就是in可能被翻译成的法语词汇有：

{ dans, en, à, aucours de, pendant}。

也就是说，我们可以给模型p施加第一个约束条件：

p(dans)+p(en)+ p(à)+p(aucours de)+p(pendant)= 1。

这个等式是翻译模型可以用到的第一个对样本的统计信息。显然，有无数可以满足上面约束的模型p可供选择，例如：

p(dans)=1，即这个模型总是预测dans

或者

p(pendant)=1/2and p(à)=1/2，即模型要么选择预测pendant，要么预测à。

这两个模型都只是在没有足够经验数据的情况下，做的大胆假设。事实上我们只知道当前可能的选项是5个法语词汇，没法确定究竟哪个概率分布式正确。那么，一个更合理的模型假设可能是：

p(dans)= 1/5

p(en)= 1/5

p(à)= 1/5

p(aucours de) = 1/5

p(pendant)= 1/5

即该模型将概率均等地分给5个词汇。但现实情况下，肯定不会这么简单，所以我们尝试收集更多的经验知识。假设我们从语料中发现有30%的情况下，in会被翻译成