一文理清楚：熵，条件熵，KL散度（相对熵），交叉熵，联合熵，信息增益，信息增益比，GINI系数

熵

熵是表示随机变量不确定性的度量。
设$X$是一个有N个取值有限的随机变量，其概率分布为：
$$P(X=i)=p_i，i=1,2...N$$

则随机变量X的熵为：
$$H(X)=-\sum _{i=1}^N{p}_i\log p_i$$

在这里熵的大小与$X$取值的大小无关，只与$X$的分布有关。

从$H(x)$的取值可以得出，$0<=H(x)<=log(N)$, 当$X$只有一个取值的时候，$H(x)$为0。当$X$取值均匀分布在N个值上时，$H(x)$的取值为$log(N)$。

熵越大，代表随机变量X的取值越混乱。

条件熵

条件熵$H(Y|X)$代表在随机变量$X$确定的情况下，随机变量$Y$的不确定性。
$$H(Y|X)=\sum _{i=1}^N{p}_{i}H(Y|X=x_i)$$

这里$p_i$为随机变量$X$取值为$x_i$的概率。

KL散度（相对熵）

KL散度是衡量两个分布之间匹配程度的指标。

设一个随机变量$X$有两个概率分布$P(x)$和$Q(x)$，我们可以用KL散度来衡量这两个分布的差异。
$$D(p||q)=\sum _{i=1}^N{p}_i\log \frac{p_i}{q_i}$$

KL散度也可以用来衡量预测分布和真实分布之间的差异，这时候一般用$P(x)$代表真实的分布，$Q(x)$代表预测的分布。

KL散度的值越小，代表两个分布匹配的越好。相反KL散度的值越大，则代表两个分布差别越大。

交叉熵

将KL散度（相对熵）的公式展开
$$D(p||q)=\sum _{i=1}^N{p}_i\log \frac{p_i}{q_i}=\sum _{i=1}^N{p}_i\log p_i-\sum _{i=1}^N{p}_i\log q_i=-H(P)+(-\sum _{i=1}^N{p}_i\log q_i)$$

一般来说，在机器学习中$P(x)$通常代表真实值，而真实值通常是不变的，所以其真实值的熵$H(P)$不变，这个KL散度展开后，变化的只有后半部分，而这部分就是交叉熵。
$$H(P|Q)=-\sum _{i=1}^N{p}_i\log q_i$$

联合熵

对于随机变量X和Y，可以计算得到联合熵：
$$H(X,Y)=-\sum _{x,y}p(x,y)logp(x,y)$$
条件熵与联合熵之间的关系：$$H(X,Y)-H(X)=H(Y|X)$$

信息增益

信息增益是在熵与条件熵的基础上定义出来的，常见的一个应用就是ID3决策树上的分类准则。

根据前文的定义，熵$H(Y)$代表的是随机变量$Y$的混乱程度。条件熵$H(Y|X)$代表的是随机变量$X$确定时，随机变量$Y$的混乱程度。

信息增益是在随机变量$X$和$Y$存在某种联合概率分布的情况下，确定随机变量$X$后，随机变量$Y$的不确定性减少的程度。

也就是用随机变量$Y$的混乱程度，减去随机变量$X$确定时，随机变量$Y$的混乱程度：
$$g(Y,X)=H(Y)-H(Y|X)$$

信息增益比

这里是作为C4.5决策树划分的准则，是关于ID3中信息增益的一个改进。因为从决策树的角度来说，单个特征的取值越多，带来的信息增益往往越好，因为划分的更细致。所以为了克服这一点，在C4.5决策树中，适用了信息增益比作为准则。

它与信息增益的不同就是，对于信息增益$g(Y|X)$来说要除于一个随机变量X（在决策树中可以认为是特征X）的熵。

$$g_r(Y,X)=g(Y,X)/H(X)$$
这里实际上除于X的熵，就是平衡了X取值多的问题。

GINI系数

Gini系数也是用了描述随机变量$X$混乱程度的一种指标。

设$X$是一个有N个取值有限的随机变量，其概率分布为：
$$P(X=i)=p_i，i=1,2...N$$

则随机变量$X$的GINI系数为：
$$Gini(X)=1-\sum _{i=1}^N{p}_i^2$$