机器学习笔记_ 最大熵模型

熵的概念

• 引例：
  如果随机变量x的可能取值为 $X={x_1,x_2,...,x_k}$。若用n位的y: $y_1,\cdots, y_n(每个y有c种取值)$表示，则n的取值期望。

  $\sum\limits_{i=1}^{k}p(x=x_i) \frac {log\frac{1}{p(x=x_i)}}{logc}$

---

• 熵： $\quad H(X)=-\sum\limits_{x\in X}p(x)lnp(x)$ = >单位nat(奈特）
  - 熵是不确定性的度量
  - 随机变量退化为定值，熵是0
  - 均匀分布熵最大
  - $0 \leq H(x) \leq log|x|$

• 联合熵:$\quad H(X,Y)$

• 条件熵: $\quad H(X|Y)=H(X,Y)-H(Y)$

• 相对熵 (KL散度)：$\quad D(p||q)=\sum\limits_xp(x)log\frac{p(x)}{q(x)}$
  - 度量两个随机变量的距离
  - $D(p||q) \neq D(q||p)$

• 互信息：$\quad I(X,Y)=D(P(X,Y)||P(X)P(Y))=\sum\limits_{x,y}p(x,y)log \frac {p(x,y)}{p(x)p(y)}$

• Venn
  

---

最大熵原理

• 承认已知事物(知识)

• 对未知事物不做任何假设，没有偏见

• 最大熵: 计算X和Y的分布，使得H(Y|X)最大

• 一般形式

  $max_{p \in P} H(Y|X)=-\sum\limits_{(x,y)}p(x,y)log p(y|x)$
  p是X上满足条件的概率分布

---

最大熵模型

• 特征: (x,y)->（特征的上下文，特征的确定信息）->(“花”,”flower”),(“花”,”spend”)
• 样本:已知
  <$\bar{p}(x)=x出现的概率$>；
  <$\bar{p}(x，y)=x和y一起出现的概率$>；
  <$\bar{p}(f)= 特征f在样本中的期望值$>
• 特征函数： 对于 $(x_0,y_0)$->定义特征函数: $f(x,y)=\{_{0 \quad otherwise}^{1 \quad x=x_0且y=y_0}$
• 对于特征$(x_0,y_0)$，其样本中的期望值是$\bar{p}(f)=\sum_{(x_i,y_i)}\bar{p}(x,y)f(x,y)$

---

*条件

1. 特征函数和经验分布$\bar{p}(X,Y)的期望值： \bar{p}(f)=\sum\limits_{x,y}\bar{p}(x,y)f(x,y)$

2. 特征函数和模型p(Y|X)与经验分布$\bar{p}(X)$的期望值
   $p(f)=\sum_{(x_i,y_i)}p(x_i,y_i)f(x_i,y_i)$
   $=\sum_{(x_i,y_i)}p(y_i|x_i)p(x_i)f(x_i,y_i)$
   $=\sum_{(x_i,y_i)}\bar{p}(y_i|x_i)p(x_i)f(x_i,y_i)$

3. 若模型能获得训练数据中的信息，则两个期望相等<理论模型的分布应该与样本的分布一致>
   $p(f)=\bar{p}(f)$

---

• 转换为

-目标函数：

$p^*=arg \max\limits_{p \in P}H(Y|X)=-\sum\limits_{(x,y)}p(x,y)log p(x,y)$
$=-\sum\limits_{(x,y)}p(y|x)\bar{p}(x)logp(y|x)$

约束：

$\sum\limits_{y \in Y}p(y|x)=1$

$E(f_i)=\bar{E}(f_i)$

---

解优化

过程省略

结果:

$p^*(y|x)=\frac{1}{exp(1-\lambda_0)}exp(\sum\limits_{i} \lambda_i f_i(x,y))$

---

• 最大熵和logistc的多分类情况softmax具有相同的目标函数
• 均以似然函数为目标函数的最优化问题
• 最大熵的解和最大似然的解一致，具有相同的目标函数