第六章 最大熵原理

最大熵模型

最大熵原理

最大熵原理：学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型
通常用约束条件来确定概率模型的集合，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。
设离散随机变量$X$的概率分布是$P(X)$，其熵是$$H(P)=-\sum _{x}P(x)\log P(x)$$满足不等式 $0⩽H(P)⩽\log |X|$
$|X|$是$X$的取值个数，当$X$为均匀分布右边不等式成立，也即$X$服从均匀分布时，熵最大.

最大熵模型的定义
假设分类模型是一个条件概率分布$P(Y|X)$，$X\in \mathcal{X}\subseteq {\mathbf{R}}^n$表示输入，$Y\in \mathcal{Y}$表示输出，$\mathcal{X}$和$\mathcal{Y}$分别表示输入和输出的集合，这个模型表示的是对于给定的输入$X$，以及条件概率$P(Y|X)$输出$Y$
给定一个训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={ (x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}学习的目标是用最大熵原理选择最好的分类模型
给定训练数据集，可以确定联合分布$P(X,Y)$的经验分布和边缘分布$P(X)$的经验分布，分布以$\tilde{P}(X,Y)$和$\tilde{P}(X)$表示，这里$$\tilde{P}(X=x,Y=y)=\frac{v(X=x,Y=y)}{N}$$ $$\tilde{P}(X=x)=\frac{v(X=x)}{N}$$其中$v(X=x,Y=y)$表示训练数据中样本$(x,y)$出现的频数，$v(X=x)$表示训练数据中输入$x$出现的频数，$N$表示训练样本的容量
用特征函数$f(x,y)$描述输入$x$和输出$y$之间的某一个事实.其定义是$$f(x,y)=\{\begin{array}{l}1,x\text{ and }y\text{ satisfy the fact }\\ 0,\text{ else }\end{array}$$它是一个二值函数，当$x$和$y$满足这个事实时取值为$1$，否则取值为$0$
特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望，用$E_{\tilde{p}}(f)$表示$$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$特征函数$f(x,y)$关于模型$\tilde{P}(Y|X)$与经验分布$\tilde{P}(X)$的期望值，用$E_P(f)$表示$$E_P(f)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$如果模型能够获取训练数据中的信息，那么就可以假设这两个期望值相等，即$$E_P(f)=E_{\tilde{p}}(f)$$或$$\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$假设有$n$个特征函数$f_i(x,y),i=1,2,\cdots ,n$,那么就有$n$个约束条件
定义（最大熵模型） 假设满足所有约束条件的模型集合为 C ≡ { P ∈ P ∣ E P ( f i ) = E P ~ ( f i ) , i = 1 , 2 , ⋯   , n } \mathcal{C} \equiv\left\{P \in \mathcal{P} | E_{P}\left(f_{i}\right)=E_{\tilde{P}}\left(f_{i}\right), \quad i=1,2, \cdots, n\right\} C≡{ P∈P∣EP​(fi​)=EP~​(fi​),i=1,2,⋯,n}定义在条件概率分布$P(Y|X)$上的条件熵为$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$则模型集合$\mathcal{C}$中条件熵$H(P)$最大的模型称为最大熵模型。

最大熵模型的学习

对于给定的训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={ (x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}以及特征函数$f_i(x,y),i=1,2,\cdots ,n$
最大熵模型的学习等价于约束优化问题：$$\underset{P\in \mathbf{C}}{\max }H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$$$\text{ s.t. }{E}_P\left(f_i\right)=E_{\tilde{P}}\left(f_i\right),i=1,2,\cdots ,n$$$$\sum _{y}P(y|x)=1$$等价于$$\underset{P\in \mathbf{C}}{\min }-H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$ $$\text{ s.t. }{E}_P\left(f_i\right)-E_{\tilde{P}}\left(f_i\right)=0,i=1,2,\cdots ,n$$ $$\sum _{y}P(y|x)=1$$具体推导：$w_0,w_1,w_2,\cdots ,w_n$，定义拉格朗日函数$L(P,w)$：$$\begin{array}{r}L(P,w)\equiv \\ =\\ \end{array}$$