机器学习常用算法：最大熵模型

最大熵原理

学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。
假设离散随机变量$X$ 的概率分布是 $P(X)$ ， 则其熵为

$$H(P) = - \sum_x P(x) \text{log} P(x)$$

且满足如下不等式：

$$0 \le H(P) \le \text{log} |X|$$

式中，$|X|$ 是 $X$ 的取值个数，当且仅当 $X$ 的分布是均匀分布时，右边等号成立，即当 $X$ 服从均匀分布时，熵最大。

最大熵原理可简述为按照满足约束条件下求等概率的方法估计概率分布。

最大熵模型

1.最大熵模型是由以下条件概率分布表示的分类模型，可用于二类或多分类问题。

$$P_w(y|x) = {1 \over Z_w(x)} \text{exp} (\sum_{i=1}^n w_if_i(x,y))$$

$$Z_w(x) = \sum_y \text{exp} (\sum_{i=1}^n w_if_i(x,y))$$
其中， $Z_w(x)$ 是规范化因子； $w_i$ 是特征权值； $f_i(x,y)$ 是特征函数，描述输入 $x$ 和输出 $y$ 之间的某一个事实，其定义为

$$f(x,y) = \begin{cases} 1, & \text{$x$ 与 $y$ 满足某一事实} \\ 0, & \text{否则} \end{cases}$$

这是一个二值函数。

2.对于给定的训练集 T={ (x1,y1),(x<