最大熵模型学习

目录

前言

一、何为熵

1.1基本概念

1.2相关定义

二、最大熵

2.1抽象概念

2.2最大熵模型的表示

2.3最大熵模型求解

 

前言

         在自然语言处理的很多任务中，都用到了最大熵模型。用过一些工具包后，打算学习下最大熵模型的一些基本原理。重要的一份资料是网络博文《最大熵模型的数学推导》（http://blog.csdn.net/v_july_v/article/details/40508465）。

         水平有限，在此只是根据自己的理解程度，从原文中摘取了一部分来梳理下自己对最大熵的理解。要学习这块，建议阅读《最大熵模型的数学推导》（http://blog.csdn.net/v_july_v/article/details/40508465）原文。

一、熵

         理解最大熵，首要的问题是什么是熵。在本章中要理解熵及联合熵、条件熵等基本概念和公式推导。

      1.1基本概念

         熵（entropy）是用来表示随机变量的不确定性。

      1.2相关定义

         熵：如果一个随机变量X的可能取值为X={x1,x2,x3......xk},其概率分布为P(X=xi)=pi(i=1,2,3,...n),则随机变量X的熵定义为：

         联合熵：两个随机变量X、Y的联合分布，可以形成联合熵Joint Entropy，用H(X,Y)表示。

         条件熵：在随机变量X发生的前提下，随机变量Y发生所带来的熵定义为Y的条件熵，用H(Y/X)表示，用来衡量在已知随机变量X的条件下随机变量Y的不确定性。且有此式成立H(Y/X)=H(X,Y)-H(X)，整个式子表示（X,Y）发生（X,Y）发生所包含的熵送去X单独发生包含的熵。相关推导：

        

         相对熵：又称互熵，交叉熵，鉴别信息等，p对q的相对熵是。 在一定程序上相对熵可以度量两个随机变量的距离，且有D(p||q)!=D(q||p),D(p||q)>=0。

         互信息：两个随机变量X、Y的互信息定义为X、Y的联合分布和各自独立分布乘积的相对熵，用I(X,Y)表示：

         且有I(X,Y)=D(P(X,Y)||P(X)P(Y)),进而计算H(Y)-I(X,Y)的结果，如下：

 

         通过上面的计算过程，有H(Y)-I(X,Y)=H(Y|X)，通过条件熵的定义，有：H(Y|X)=H(X,Y)-H(X),而根据互信息定义展开得到H(Y|X)=H(Y)-I(X,Y)，前后相联便有I(X,Y)=H(X)+H(Y)-H(X,Y)

二、最大熵

         在上章节了解熵后，下步是最大熵。首先，什么是最大熵，了解最大熵的本质和所要解决什么样的问题。其次，了解最大熵模型的公式表述。最后是最大熵模型的求解，在此没有进行怎样求解。

         所以对最大熵模型的学习程度定位是：知道什么是最大熵，知道最大熵模型的公式表述，知道求解出哪些参数就可以求解最大熵模型。

2.1抽象概念

         熵是随机变量不确定性的度量，不确定性越大，熵值越大；若随机变量退化成定值，为0。

         最大熵化原则：承认已知事物（知识），且有对未知事物不做任何假设，没有任何偏见。

         最大熵模型的本质，它要解决的问题就是书籍Ｘ，计算Ｙ的概率，且尽可能让Ｙ的概率最大（实践中，Ｘ可能是单词的上下文信息，Ｙ是该单词为名词、动词、形容词的概率）。根据已有信息，尽可能最准确的推测未知信息，这就是最大熵模型所要解决的问题。

2.2最大熵模型的表示

         最大熵模型的一般表达式，如下：

         其中，P={p|p是X上满足条件的概率分布}

         在进行最大熵的完整表述前，先有如下定义特征、样本和特征函数：

       特征（x,y）:y表示特征中需要确定的信息，x表示上下文环境；

       样本：关于某个特征（x,y）的样本，特征所描述的语法现象在标准集合里的分布（xi,yi）对，其中，yi是y的一个实例，xi是yi的上下文。

       特征函数：

       进而引出最大熵模型的完整表述：

         约束条件为：       

2.3最大熵模型求解

         继续上节，根据约束条件P,求P*的最大值。但我们所想要不是p*的最大值是多少，而是当p*值最大时，P(y|x)是多少。记得在大学高数里有这样的问题，是通过构造lagrange函数解决的。

构造lagrange函数，然后对P(y|x)求偏导，可得：

         求得λi,则可等到所求正解p*(y|x)。而在此忽略了λi的具体求解过程。