最大熵模型相关知识

预备知识

熵

离散型变量X的概率分布是P(X)。它的熵$H(X)orH(P)$越大，代表越均匀、越混乱、越不确定。熵的公式如下：
$$H(P)=-\sum _{x\in X}P(x)\log P(x)$$
当X服从均匀分布时，熵最大。

联合熵

熟悉了一个变量X的熵，很容易推广到多个个变量的联合熵，这里给出两个变量X和Y的联合熵表达式：
$$H(X,Y)=-\sum _{i=1}^{n}p(x_i,y_i)logp(x_i,y_i)$$

条件熵

有了联合熵，又可以得到条件熵的表达式H(Y|X)，条件熵类似于条件概率,它度量了我们的Y在知道X以后剩下的不确定性。表达式如下：
$$H(Y|X)=\sum _{j=1}^{n}p(x_j)H(Y|x_j)=-\sum _{i=1}^{n}p(x_i,y_i)logp(y_i|x_i)$$

最大熵的原理

最大熵原理认为，学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。

假如某个事件包含两个部分：确定的部分（约束条件）和不确定的部分。选择模型时需要：

1. 要满足所有的约束条件，即满足已有的确定的事实

2. 均分不确定的部分

举个例子：X有5个取值$A,B,C,D,E$，取值概率分别为$P(A),P(B),P(C),P(D),P(E)$。满足以下约束条件：
$$P(A)+P(B)+P(C)+P(D)+P(E)=1$$
满足这个条件的模型有很多。但是如果再加一个约束条件：
$$P(A)+P(B)=\frac{3}{10}$$
则，满足约束条件的情况下，不确定的部分的概率平分（条件熵最大）：这样的模型是最好的模型：
$$P(A)=P(B)=\frac{3}{20},P(C)=P(D)=P(E)=\frac{7}{30}$$
**条件熵最大意味着：在给定了约束条件情况下，剩余事件的概率最均衡，因此模型最好。**于是可以得出，最大熵模型就是要：满足约束条件，并且使得“条件熵”最大。

最大熵模型

给定一个训练集$(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...，(x^{(m)},y^{(m)})$，其中x为n维特征向量，y为类别输出。我们的目标就是用最大熵模型选择一个最好的分类类型。

在给定训练集的情况下，我们可以得到总体联合分布$P(X,Y)$的经验分布$\tilde{P}(X,Y)$和边缘分布$P(X)$的经验分布$\tilde{P}(X)$。$\tilde{P}(X,Y)$即为训练集中X，Y同时出现的次数除以样本总数m，$\tilde{P}(X)$即为训练集中X出现的次数除以样本总数m。

用特征函数$f(x,y)$描述输入x和输出y之间的关系。定义为：
$$f(x,y)=\{\begin{array}{ll}1& x与y满足某个关系\\ 0& 否则\end{array}$$
同一个训练样本可以有多个约束特征函数。

一、约束条件

特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望值，表示为:
$$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$
由于特征函数是个二值函数，因此期望$E_{\tilde{P}}(f)$可以理解为：所有满足x与y某个关系$f$的样本对经验分布$\tilde{P}(X,Y)$的计数并求和。

特征函数$f(x,y)$关于条件分布$P(Y|X)$和经验分布$\tilde{P}(X)$的期望值，用$E_P(f)$表示为:
$$E_P(f)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$
如果抽取到的样本具有足够的代表性，那么我们可以认为:
$$\tilde{P}(x,y)=\tilde{P}(x)P(y|x)$$
进而可以假设上面的两个期望值相等：
$$E_{\tilde{P}}(f)=E_P(f)$$
上式就是最大熵模型学习的约束条件，假如我们有N个特征函数$f_i(x,y)(i=1,2...,N)$就有N个约束条件。可以理解为我们如果训练集里有m个样本，就有和这m个样本对应的N个约束条件。于是有约束条件如下：
$$E_{\tilde{P}}(f_i)=E_P(f_i)(i=1,2,...N)$$

二、条件熵最大

最大熵模型假设分类模型是一个条件概率分布P(Y|X)，X为特征，Y为输出。条件熵衡量了条件概率分布的均匀性，给定某个约束条件的情况下，当不确定事件的概率都相同的时候条件熵最大。于是条件熵是最大熵原理提出的基础，最大的是条件熵。

定义在条件概率分布$P(Y|X)$上的条件熵为：
H ( P ) = − ∑ x , y P ( x , y ) l o g P ( y ∣ x ) = − ∑ x , y P ~ ( x ) P ( y ∣ x ) l o g P (