Machine Learning Series No.7 -- Max Entropy

最大熵模型

1.它是一个判别模型，最终目的是为了建模$p(y|x)$。

2.原理

认为学习模型时，认为条件熵最大的模型是最好的模型。

其原理可由以下博客说明，其隐含的意思是指最好的模型是在满足已有约束的条件下，不做任何主观臆测的模型是最好的模型。

https://www.cnblogs.com/ooon/p/5677098.html

3.推导

$$E_{\tilde{p}}(f) = \sum_{x,y} \tilde{p}(x,y)f(x,y)$$

$$E_{p}(f) = \sum_{x,y} p(x,y)f(x,y)$$

条件熵：

$$H(Y|X) = H(X,Y)-H(X) = -\sum_{x,y}p(x,y)\log p(x,y) + \sum_{x} p(x)\log p(x)$$

$$=-\sum_{x,y}p(x,y)\log p(x,y) + \sum_{x,y} p(x,y)\log p(x)$$

$$= -\sum_{x,y}p(x,y)\log \frac{p(x,y)}{p(x)} = -\sum_{x,y}p(x,y)\log p(y|x)$$

$$= \sum_{x,y} \tilde{p}(x)p(y|x)\log p(x,y)$$

在最后一步注意是为了建模$p(y|x)$.

所以最终的优化问题可以转化为：

$$\max_{p} \sum_{x,y} \tilde{p}(x)p(y|x)\log p(x,y)$$

$$s.t.\ \ \ \ E_\tilde{p}(f_i) = E_p(f_i)$$

$$\sum_{y}p(y|x)=1$$

最终转化为拉格朗日优化法求解：