最大熵的理解

最大熵模型(Maximum Entropy Modeling)
　i. 给定一个训练样本集，我们希望寻找一个分布符合如下两个条件(Given a set of training examples, we wish to find a distribution which)：
　　1. 满足已知的约束条件（satisfies the input constraints）

　　2. 最大化其不确定性（maximizes the uncertainty）

ii. 补充：
　　最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。因为在这种情况下，符合已知知识的概率分布可能不止一个。那么最大熵原理的实质就是，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是我们可以作出的唯一不偏不倚的选择，任何其它的选择都意味着我们增加了其它的约束和假设，这些约束和假设根据我们掌握的信息无法做出。

iii. 约束条件（Constraint）：
　　每个特征的观察样本期望值与特征模型期望值相一致（observed expectation of each feature has to be the same as the model’s expectation of the feature）

iv. 最大熵原理(Principle of Maximum Entropy)：
　　将已知事实作为制约条件（iii中的约束条件），求得可使熵最大化的概率分布作为正确的概率分布