数据处理中使用的各种熵

信息论起源于解决通信问题，标志性论著是香农的《通信的数学原理》。随着信息技术的发展，信息论思想不断用于机器学习和数据处理领域，解决数据分析问题。
熵是信息论中最重要和基础的概念，是概率分布的泛函，表示随机变量不确定性的大小，即假设某随机变量的概率密度为$p(x)$，则信息熵表示为$H(p)$。信息技术中经常使用的熵有下列几种：
1.自信息
自信息表示随机变量$X$某个取值$x_i$的不确定性大小，与概率$p(x_i)$有紧密的联系：$p(x_i)$越大，$x_i$的不确定性越小，反之，$x_i$的不确定性越小。故$x_i$的自信息$I(x_i)$定义为：
$I(x_i)=\log \frac{1}{p(x_i)}=-\log p(x_i)$。自信息只能衡量单个取值的不确定性大小。
2.信息熵
信息熵$H(p)$定义为随机变量的平均自信息，即平均不确定性，反应整个分布的不确定性大小。
$H(X)=-\int p(x)\log p(x)dx$
3. 条件熵
因为$H(Y|x_i)=-\int p(y|x_i)\log p(y|x_i)dy$，所以条件熵$H(Y|X)$定义为：
$H(Y|X)=-\int\int p(x)p(y|x)\log p(y|x)dydx=-\int\int p(x,y)\log p(y|x)dydx$
4. 互信息
随机变量$X$取值$a_i$和$Y$的取值$b_j$的互信息$I(a_i,b_j)$表示$X=b_j$条件加入前后不确定性的减少，即加入条件$X=b_j$后获得的信息量。定义为：
$I(a_i;b_j)=\log \frac{1}{p(a_i)}-\log \frac{1}{p(a_i|b_j)}=\log\frac{p(a_i|b_j)}{p(a_i)}$
5.平均互信息
平均互信息$I(X;Y)$反应两个随机变量$X$和$Y$的整体互信息，定义为：
$I(X;Y)=\sum_{X,Y}p(xy)I(x;y))=\sum_{X,Y}p(xy)\log\frac{p(x|y)}{p(x)}=\sum_{X,Y}P(xy)\log\frac{1}{p(x)}-\sum_{X,Y}p(xy)\log\frac{1}{p(x|y)}=\sum_Xp(x)\log\frac{1}{p(x)}\sum_Yp(y|x)-\sum_{X,Y}p(xy)\log\frac{1}{p(x|y)}=\sum_Xp(x)\log \frac{1}{p(x)}-\sum_{X,Y}p(xy)\log\frac{1}{p(x|y)}=H(X)-H(X|Y)$
6.交叉熵
H(p;q)=-$\int{p(x)\log q(x)dx}$
7.相对熵
相对熵$D(p||q)$又称Kullback-Leibler divergence，即$KL$离差，表示两个随机变量分布相差多少
$D（p||q）$=-$\int{p(x)log q(x)dx}-(-\int{p(x)log p(x)dx})$=H(p)+H(p;q)=-$\int{p(x)log{\frac{q(x)}{p(x)}}dx}$
相对熵比交叉熵大$H(p)$