机器学习系列之最大熵模型

最新推荐文章于 2020-01-23 17:11:41 发布

HOPEver

最新推荐文章于 2020-01-23 17:11:41 发布

阅读量1.5k

点赞数

分类专栏：机器学习文章标签：机器学习自然语言处理

本文链接：https://blog.csdn.net/HOPEver/article/details/39828969

版权

机器学习专栏收录该内容

7 篇文章 0 订阅

订阅专栏

在上一篇讲决策树的文章中，在做特征选择的时候我们用的是信息增益或者信息增益比作为标准，其中就涉及到了熵。熵是信息论中的核心概念，在许多领域都有广泛的应用。这次我们讲的就是利用熵最大的标准来选择模型，这种模型就叫做最大熵模型。

一、特征函数

在介绍最大熵模型之前我们需要先介绍一下特征函数的概念。最大熵模型最早最成功的应用是在自然语言处理领域，而语言作为人类发明的东西总是包含许多人为设定的规则，比如说在英文中动词后面跟的是名词或者副词，以how开头的是疑问句或者感叹句等等，那么这些规则如何表达为数学的形式进而融入到模型中去呢？答案是利用特征函数！特征函数的定义如下

$f(x,y)=\left\{\begin{matrix} &1,if ~x ~and ~y ~satisfy ~some ~rule &&\\ &0,otherwise && \end{matrix}\right.$

即当x和y满足某种规则的时候特征函数为1，否则为0。通过这种方式来表示先验知识、专家知识。但是这只是表示问题，接下来如何将其融入到模型中呢？这里我们用到了一个假设，即特征函数关于模型的期望与经验期望相等。

特征函数 $f(x,y)$ 关于模型P(Y|X)与经验分布 $\tilde{P}(X)$ 的期望值为

$E_{p}(f)=\sum_{x,y} \tilde{P}(x) P(y|x) f(x,y)$

特征函数 $f(x,y)$ 关于经验分布 $\tilde{P}(X,Y) %E_{p}(f)=\sum_{x,y} \tilde{P}(x) P(y|x) f(x,y)$ 的期望值为

$E_{\tilde{p}}(f)=\sum_{x,y} \tilde{P}(x,y)f(x,y) %E_{p}(f)=\sum_{x,y} \tilde{P}(x) P(y|x) f(x,y)$

如果模型能够获取训练数据中的信息，那么我们就可以假设这两个期望值相等，而这也将是最大熵模型学习的约束条件，这样我们就把先验知识融入到了模型当中。如果有n个特征函数，那么就有n个约束条件。

二、最大熵模型

最大熵模型的学习等价于约束最优化问题：

$\max\limits_{P\in C} H(P)= - \sum_{x,y} \tilde{P}(x) P(y|x) \log P(y|x) %E_{\tilde{p}}(f)=\sum_{x,y} \tilde{P}(x,y)f(x,y) %E_{p}(f)=\sum_{x,y} \tilde{P}(x) P(y|x) f(x,y)$

$s.t. ~~~~~~ E_{P}(f_{i})=E_{\tilde{P}} (f_{i}), i=1,2,...,n \\ ~~~~~~~~~~~~ ~~~ \sum_{y} P(y|x) = 1 %\max\limits_{P\in C} H(P)= - \sum_{x,y} \tilde{P}(x) P(y|x) \log P(y|x) %E_{\tilde{p}}(f)=\sum_{x,y} \tilde{P}(x,y)f(x,y) %E_{p}(f)=\sum_{x,y} \tilde{P}(x) P(y|x) f(x,y)$

按照最优化的习惯，将求最大值问题改写为等价的求最小值问题，只需要加个负号，即

$\min\limits_{P\in C}~~ -H(P)= \sum_{x,y} \tilde{P}(x) P(y|x) \log P(y|x) %s.t. ~~~~~~ E_{P}(f_{i})=E_{\tilde{P}} (f_{i}), i=1,2,...,n \\ %~~~~~~~~~~~~ ~~~ \sum_{y} P(y|x) = 1 %E_{\tilde{p}}(f)=\sum_{x,y} \tilde{P}(x,y)f(x,y) %E_{p}(f)=\sum_{x,y} \tilde{P}(x) P(y|x) f(x,y)$

类似于支持向量机中的解法，对于这种带约束的最优化问题我们可以将其转换为无约束最优化的对偶问题，通过求解对偶问题来求解原始问题。

首先引进拉格朗日乘子

$L(P,\alpha) = -H(P) + \sum_{i=1}^{n} \alpha _{i}(E_{\tilde{P}} (f_{i})-E_{P}(f_{i})) + \alpha _{0}(1-\sum_{y}P(y|x)) \\ ~~~~~~~~~~~ = \sum_{x,y} \tilde{P}(x) P(y|x)\log(P(y|x)) + \sum_{i=1}^{n} \alpha _{i}(\sum_{x,y}\tilde{P}(x,y) f_{i}(x,y) - \sum_{x,y} \tilde{P} (x) P(y|x) f_{i}(x,y)) + \alpha_{0} (1-\sum_{y}P(y|x)) %\frac{\partial L(P,\alpha)}{\partial P(y|x)}=\sum_{x,y}\tilde{P}(x)(\log(P(y|x)+1) + \sum_{i=1}^{n}\alpha_{i}\sum_{x,y}\tilde{P}(x)f_{i}(x,y) %\max\limits_{\alpha} \min\limits_{P \in C} L(P,\alpha) %\min\limits_{P\in C}~~ -H(P)= \sum_{x,y} \tilde{P}(x) P(y|x) \log P(y|x) %s.t. ~~~~~~ E_{P}(f_{i})=E_{\tilde{P}} (f_{i}), i=1,2,...,n \\ %~~~~~~~~~~~~ ~~~ \sum_{y} P(y|x) = 1 %E_{\tilde{p}}(f)=\sum_{x,y} \tilde{P}(x,y)f(x,y) %E_{p}(f)=\sum_{x,y} \tilde{P}(x) P(y|x) f(x,y)$

则原始问题是

$\min\limits_{P \in C} \max\limits_{\alpha} L(P,\alpha) %L(P,\alpha) = -H(P) + \sum_{i=1}^{n} \alpha _{i}(E_{P}(f_{i})-E_{\tilde{P}} (f_{i})) + \alpha _{0}(1-\sum_{y}P(y|x)) \\ ~~~~~~~~~~~ = \sum_{x,y} \tilde{P}(x) P(y|x)\log(P(y|x)) + \sum_{i=1}^{n} \alpha _{i}(\sum_{x,y} \tilde{P} (x) P(y|x) f_{i}(x,y) - \\ ~~~~~~~~~~~~~~\sum_{x,y}\tilde{P}(x,y) f_{i}(x,y)) + \alpha_{0} (1-\sum_{y}P(y|x)) %\min\limits_{P\in C}~~ -H(P)= \sum_{x,y} \tilde{P}(x) P(y|x) \log P(y|x) %s.t. ~~~~~~ E_{P}(f_{i})=E_{\tilde{P}} (f_{i}), i=1,2,...,n \\ %~~~~~~~~~~~~ ~~~ \sum_{y} P(y|x) = 1 %E_{\tilde{p}}(f)=\sum_{x,y} \tilde{P}(x,y)f(x,y) %E_{p}(f)=\sum_{x,y} \tilde{P}(x) P(y|x) f(x,y)$

对偶问题则是

$\max\limits_{\alpha} \min\limits_{P \in C} L(P,\alpha) %L(P,\alpha) = -H(P) + \sum_{i=1}^{n} \alpha _{i}(E_{P}(f_{i})-E_{\tilde{P}} (f_{i})) + \alpha _{0}(1-\sum_{y}P(y|x)) \\ ~~~~~~~~~~~ = \sum_{x,y} \tilde{P}(x) P(y|x)\log(P(y|x)) + \sum_{i=1}^{n} \alpha _{i}(\sum_{x,y} \tilde{P} (x) P(y|x) f_{i}(x,y) - \\ ~~~~~~~~~~~~~~\sum_{x,y}\tilde{P}(x,y) f_{i}(x,y)) + \alpha_{0} (1-\sum_{y}P(y|x)) %\min\limits_{P\in C}~~ -H(P)= \sum_{x,y} \tilde{P}(x) P(y|x) \log P(y|x) %s.t. ~~~~~~ E_{P}(f_{i})=E_{\tilde{P}} (f_{i}), i=1,2,...,n \\ %~~~~~~~~~~~~ ~~~ \sum_{y} P(y|x) = 1 %E_{\tilde{p}}(f)=\sum_{x,y} \tilde{P}(x,y)f(x,y) %E_{p}(f)=\sum_{x,y} \tilde{P}(x) P(y|x) f(x,y)$

由于拉格朗日函数L是凸函数且满足KKT条件，因此两者的解是等价的。

对L求P的偏导

$\frac{\partial L(P,\alpha)}{\partial P(y|x)}=\sum_{x,y}\tilde{P}(x)(\log(P(y|x)+1) - \sum_{i=1}^{n}\alpha_{i}\sum_{x,y}\tilde{P}(x)f_{i}(x,y) - \sum_{y}\alpha_{0} \\ ~~~~~~~~~~~~~~~~~= \sum_{x,y} \tilde{P}(x,y)(\log(P(y|x)) + 1 - \alpha_{0} - \sum_{i=1}^{n}\alpha_{i}f_{i}(x,y)) %L(P,\alpha) = -H(P) + \sum_{i=1}^{n} \alpha _{i}(E_{\tilde{P}} (f_{i})-E_{P}(f_{i})) + \alpha _{0}(1-\sum_{y}P(y|x)) \\ ~~~~~~~~~~~ = \sum_{x,y} \tilde{P}(x) P(y|x)\log(P(y|x)) + \sum_{i=1}^{n} \alpha _{i}(\sum_{x,y}\tilde{P}(x,y) f_{i}(x,y) - \sum_{x,y} \tilde{P} (x) P(y|x) f_{i}(x,y)) + \alpha_{0} (1-\sum_{y}P(y|x)) %\max\limits_{\alpha} \min\limits_{P \in C} L(P,\alpha) %\min\limits_{P\in C}~~ -H(P)= \sum_{x,y} \tilde{P}(x) P(y|x) \log P(y|x) %s.t. ~~~~~~ E_{P}(f_{i})=E_{\tilde{P}} (f_{i}), i=1,2,...,n \\ %~~~~~~~~~~~~ ~~~ \sum_{y} P(y|x) = 1 %E_{\tilde{p}}(f)=\sum_{x,y} \tilde{P}(x,y)f(x,y) %E_{p}(f)=\sum_{x,y} \tilde{P}(x) P(y|x) f(x,y)$

令其等于0得到

$P(y|x) = \exp(\sum_{i=1}^{n}\alpha_{i}f_{i}(x,y) + \alpha_{0} - 1) = \tfrac{ \exp(\sum_{i=1}^{n}\alpha_{i}f_{i}(x,y))}{ \exp(1-\alpha_{0})}$

由于

$\sum_{y}P(y|x) = 1 %P(y|x) = \exp(\sum_{i=1}^{n}\alpha_{i}f_{i}(x,y) + \alpha_{0} - 1) = \tfrac{ \exp(\sum_{i=1}^{n}\alpha_{i}f_{i}(x,y))}{ \exp(1-\alpha_{0})}$

因此归一化得到

$P_{w}(y|x) = \tfrac{1}{Z_{\alpha}(x)} \exp(\sum_{i=1}^{n} \alpha_{i}f_{i}(x,y)) \\ ~~~~~~~Z_{\alpha} = \sum_{y} \exp (\sum_{i=1}^{n} \alpha_{i}f_{i}(x,y)) %P(y|x) = \exp(\sum_{i=1}^{n}\alpha_{i}f_{i}(x,y) + \alpha_{0} - 1) = \tfrac{ \exp(\sum_{i=1}^{n}\alpha_{i}f_{i}(x,y))}{ \exp(1-\alpha_{0})}$

将 $P_{w}(y|x) % = \tfrac{1}{Z_{\alpha}(x)} \exp(\sum_{i=1}^{n} \alpha_{i}f_{i}(x,y)) \\ ~~~~~~~Z_{\alpha} = \sum_{y} \exp (\sum_{i=1}^{n} \alpha_{i}f_{i}(x,y)) %P(y|x) = \exp(\sum_{i=1}^{n}\alpha_{i}f_{i}(x,y) + \alpha_{0} - 1) = \tfrac{ \exp(\sum_{i=1}^{n}\alpha_{i}f_{i}(x,y))}{ \exp(1-\alpha_{0})}$ 带入对偶函数中得到关于 $\alpha % P_{w}(y|x) = \tfrac{1}{Z_{\alpha}(x)} \exp(\sum_{i=1}^{n} \alpha_{i}f_{i}(x,y)) \\ ~~~~~~~Z_{\alpha} = \sum_{y} \exp (\sum_{i=1}^{n} \alpha_{i}f_{i}(x,y)) %P(y|x) = \exp(\sum_{i=1}^{n}\alpha_{i}f_{i}(x,y) + \alpha_{0} - 1) = \tfrac{ \exp(\sum_{i=1}^{n}\alpha_{i}f_{i}(x,y))}{ \exp(1-\alpha_{0})}$ 的极大最优化函数。