最大熵模型

1. 极大似然估计在机器学习中的应用

1. 在有监督学习中要求的是标签下的条件概率，极大似然学习的是概率分布$P$，可把$P$看作是条件概率，使用极大似然，得到概率模型
   
   • 应用模型：最大熵模型
2. 在无监督学习中，标签不知道，只能在推导中使用极大似然估计的过程
   
   • 应用：EM算法（GMM模型）

2. 熵

熵是平均不确定性的独立，函数到值的映射（泛函）
1. 平均互信息量（衡量确定性）：

$$I(X, Y) = H(X)-H(X|Y)=H(Y)-H(Y|X)$$
2. 交叉熵（不确定性，非对称）： $$H(X; Y) = H(X)+KL(X||Y)=I(X,Y)+H(X|Y)+KL(X||Y)$$
3. KL散度（不确定性，非对称）： $$KL(X||Y) = H(X;Y) - H(X)$$
4. 条件熵和KL散度最小时，平均互信息量最大

3. 最大熵模型推导

1. 最大熵原理：承认已知事物，对未知事物不做任何假设，没有偏见，最大熵存在且唯一（凸优化）
2. 模型一般形式（在约束条件下求条件熵最大化）
   $$\min_{P \in C} -H(P)=-H(Y|X)=\sum_{x,y}P(x)P(y|x)logP(y|x)$$ $$s.t. E_p(f_i)=E_\bar{p}(f_i)$$ $$\sum_{y}P(y|x)=1$$ 其中$E_\bar{p}(f_i)=\sum_{x,y}p(x,y)f_i(x,y)$，$f_i$为特征，当$x,y$满足特征条件，$f_i(x,y)=1$，否则为0
3. 写成拉格朗日形式：
   $$L(P, w)=-H(P)+w_0(1-\sum_{y}P(y|x))+\sum_{i=1}^{n}{w_i(E_\bar{p}(f_i)-E_p(f_i))} =\sum_{x,y}\bar{P}(x)P(y|x)logP(y|x)+w_0(1-\sum_{y}{P(y|x)})+\sum_{j=1}^{n}{w_i(\sum_{x,y}\bar{P}(x,y)f_i(x,y)-\sum_{x,y}\bar{P}(x)P(y|x)f_i(x,y))}$$
4. 原问题和对偶问题：
   $$原问题： \min_{P \in C} \max_{w}L(P,w)$$ $$对偶问题： \max_{w}\min_{P \in C}L(P,w)$$ $$求对偶函数: \varphi=\min_{P \in C}L(P,w)=L(P_w,w)$$
5. 对$P(y|x)$求偏导数，令其为0，得到条件概率分布$P_w(y|x)$，之后求$w$，得到最大熵模型
   $$P(y|x)=exp(\sum_{i=1}^{n}{w_if_i(x,y)}+w_0-1)=\frac{exp(\sum{w_if_i(x,y))}}{exp(1-w_0)}$$ $$归一化: P_w(y|x)=\frac{1}{Z}exp(\sum{w_if_i(x,y))}$$ $$Z=\sum_{y}exp(\sum{w_if_i(x,y))}$$
6. 最大熵模型中的$\varphi(w)$等价于最大熵模型的极大似然估计，两者可以相互证明其有效性
7. 最大熵模型的优缺点
   优点：
   （1）建模时，试验者只需集中精力选择特征，而不需要花费精力考虑如何使用这些特征。
   （2）特征选择灵活，且不需要额外的独立假定或者内在约束。
   （3）模型应用在不同领域时的可移植性强。
   （4）可结合更丰富的信息。
   缺点：
   （1）时空开销大
   （2）数据稀疏问题严重
   （3）对语料库的依赖性较强
8. 最大熵模型的应用
   词性标注、短语识别、指代消解、语法分析、机器翻译、文本分类、问题回答、语言模型