最大信息熵模型的推导-CSDN博客

本文链接：https://blog.csdn.net/u013172930/article/details/143935598

将最大信息熵这个概率论中的一般性原理应用于机器学习分类模型，我们可以得到基于最大信息熵原理的一般性模型，即最大信息熵模型。假设有条件概率分布为 $P (Y ∣ X)$ 的概率分类模型，该模型表示对于给定输入 $X$ ，模型以条件概率 $P (Y ∣ X)$ 输出 $Y$ 。在给定训练集 $\{ (x_1, y_1), (x_2, y_2), \ldots, (x_N, y_N) \}$ 的情况下，学习的目标就是选择最大信息熵模型作为目标模型。

根据训练集 $T$ ，可以确定联合概率分布 $P (X, Y)$ 的经验分布 $\tilde{P}(X,Y)$ 和边缘概率分布 $P (X)$ 的经验分布 $\tilde{P}(X)$ ，其中：

$\tilde{P}(X=x, Y=y) = \frac{c(X=x, Y=y)}{N} \tag{20-3}$

$\tilde{P}(X=x) = \frac{c(X=x)}{N} \tag{20-4}$

$c (X = x, Y = y)$ 和 $c (X = x)$ 分别为训练集中样本 $(x, y)$ 出现的频数和 $x$ 出现的频数， $N$ 为训练样本量。

为了得到最大信息熵模型，我们需要找到输入 $x$ 和输出 $y$ 满足的约束条件。假设 $x$ 和 $y$ 满足某一条件，我们可以用特征函数 $f (x, y)$ 来描述：

$\begin{cases} 1, & x与y满足某一条件 \\ 0, & 否则 \end{cases} \tag{20-5}$

即 $x$ 与 $y$ 满足某一条件时该函数取 1，否则为 0。

计算特征函数 $f (x, y)$ 关于联合经验分布 $\tilde{P}(X,Y)$ 的数学期望 $E_{\tilde{p}}(f)$ ：

$E_{\tilde{p}}(f) = \sum_{x,y} \tilde{P}(x,y) f(x,y) \tag{20-6}$

计算特征函数 $f (x, y)$ 关于模型 $P (Y ∣ X)$ 与边缘经验分布 $\tilde{P}(X)$ 的数学期望 $E_p(f)$ ：

$E_p(f) = \sum_{x,y} \tilde{P}(x) P(y|x) f(x,y) \tag{20-7}$

根据：

$\tilde{P}(x,y) = \tilde{P}(x) P(y|x) \tag{20-8}$

以及训练数据信息，可假设上述两个期望值相等，即：

$E_{\tilde{p}}(f) = E_p(f) \tag{20-9}$

展开有：

$\sum_{x,y} \tilde{P}(x,y) f(x,y) = \sum_{x,y} \tilde{P}(x) P(y|x) f(x,y) \tag{20-10}$

式(20-10)即可作为求解最大信息熵模型的约束条件，当有 $n$ 个特征函数 $f_i(x,y)$ ， $i=1,2,\ldots,n$ 时，就有 $n$ 个约束条件。

至此，我们就可以将最大信息熵模型的求解规约为如下约束优化问题：

$\begin{aligned} \max_{P} \quad & H(P) = -\sum_{x, y} \tilde{P}(x) P(y \mid x) \log P(y \mid x) \\ \text{s.t.} \quad & \mathbb{E}_{\tilde{P}}(f_i) = \mathbb{E}_{P}(f_i), \quad i = 1, 2, \dots, n, \\ & \sum_{y} P(y \mid x) = 1 \end{aligned} \tag{20-11}$

将式(20-11)的求极大化问题改写为等价的极小化问题：

$\begin{aligned} \min_{P} \quad & -H(P) = \sum_{x, y} \tilde{P}(x) P(y \mid x) \log P(y \mid x) \\ \text{s.t.} \quad & \mathbb{E}_{\tilde{P}}(f_i) = \mathbb{E}_{P}(f_i), \quad i = 1, 2, \dots, n, \\ & \sum_{y} P(y \mid x) = 1 \end{aligned} \tag{20-12}$

根据拉格朗日乘子法，将式(20-12)的约束极小化原始问题改写为无约束最优化的对偶问题，通过求解对偶问题来求解原始问题。原始问题与对偶问题的转换见第9章。

引入拉格朗日乘子 $w_0, w_1, \ldots, w_n$ ，定义拉格朗日函数 $L (P, w)$ ：

$\begin{aligned} L(P, w) = & -H(P) + w_0 \left( 1 - \sum_{y} P(y \mid x) \right) +\sum_{i=1}^{n} w_i \left( \mathbb{E}_{\tilde{P}}(f_i) - \mathbb{E}_{P}(f_i) \right) \\ = & \sum_{x, y} \tilde{P}(x) P(y \mid x) \log P(y \mid x) +w_0 \left( 1 - \sum_{y} P(y \mid x) \right) \\ & + \sum_{i=1}^{n} w_i \left( \sum_{x, y} \tilde{P}(x, y) f_i(x, y) -\sum_{x, y} \tilde{P}(x) P(y \mid x) f_i(x, y) \right) \end{aligned} \tag{20-13}$

原始问题为：

$\min_P \max_w L(P,w) \tag{20-14}$

对偶问题为：

$\max_w \min_P L(P,w) \tag{20-15}$

根据拉格朗日对偶性的相关性质，可知原始问题式(20-14)与对偶问题式(20-15)有共同解，所以我们可以直接求解对偶问题式(20-15)得到原始问题式(20-14)的解。针对这类极大极小化问题，一般方法是先求解内部极小化问题 $min_P L(P,w)$ ，再求解外部极大化问题。

将内部极小化问题定义为 $\varphi(w)$ ，即：

$\varphi(w) = \min_P L(P,w) = L(P_w,w) \tag{20-16}$

同时令 $P_w$ 为 $\varphi(w)$ 的解， $P_w$ 可记为：

$P_w = \arg \min_P L(P,w) = P_w(y|x) \tag{20-17}$

下面求 $L (P, w)$ 关于 $P (y ∣ x)$ 的偏导：

$\frac{\partial L(P,w)}{\partial P(y|x)} = \sum_{x,y} \tilde{P}(x) (\log P(y|x) + 1) - \sum_y w_0 - \sum_{x,y} \left( \tilde{P}(x) \sum_{i=1}^n w_i f_i(x,y) \right) \tag{20-18}$