理解最大熵模型

最大熵模型与逻辑斯蒂回归模型一样，属于对数线性模型，因为推导出的最大熵模型公式满足输入与输出的对数函数成线性关系，如下：

$P_w(Y|X)=\frac{1}{Z_w(x)}exp(\sum_{i=1}^nw_if_i(x,y))$

其中，

$Z_w(x)=\sum_yexp(\sum_{i=1}^nw_if_i(x,y))$

1、最大熵原理
将最大熵原理使用到具体的应用模型中，就得到了最大熵模型。所以，要了解最大熵模型，首先需要知道最大熵原理。

最大熵原理要求在概率分布中，将使得熵最大的概率分布作为最好的选择。所谓熵，可以理解为系统的不确定程度。熵越大，系统的不确定程度就越高。比如在掷骰子游戏中，在条件未知的情况下，因为无法知道具体是哪一面，其不确定程度程度最高，即熵最大；当加入可能是两点或四点条件后，其不确定性就降低了，因为只有两个选择可以选，这时的熵也就变小了。

下面给出熵的定义：
假设离散随机变量X的概率分布是P(X)，则定义熵H(P)为：

H(P)=- $\sum_xP(x)logP(x)$

由熵的定义可知：

0 $\leq H(P)\leq log|X|$

式中|X|表示变量X的取值个数。不等式左侧显然成立，右侧证明如下：
$H(P)-log|X|=\sum_x P(x)log\frac 1{P(x)}-\sum_xP(x)log|X|$
$\quad\quad\quad\quad\quad\quad =\sum_xP(x)log\frac 1{|X|\cdot P(x)}$
由不等式log x≤x-1，上式可变为:
$\quad\quad\quad\quad\quad\quad \leq \sum_xP(x)(\frac 1{|X|\cdot P(x)}-1)$
$\quad\quad\quad\quad\quad\quad = \sum_x(\frac 1{|X|}-P(x))$
=∑x1|X