熵，互信息，KL距离（相对熵），交叉熵

熵

信息论中的熵，又叫信息熵。它是用来衡量，一个随机变量的不确定程度。
熵越大，他的不确定性越大。最大熵模型的假设就是基于此而来。

$$\begin{equation*} H(X) = E[I(x_{i})] = -\sum_{n = 1}^NP(x_{I})log(P(x_{i})) \end{equation*}$$

联合熵

联合熵用得比较少。它表示，我要描述这一对随机变量，平均下来我所需要的信息量。

H(X,Y)=−∑x∈X