熵、交叉熵、KL散度、JS散度、推广的JS散度公式、互信息

下面用求和符号展开是针对离散分布而言的，对于连续分布，使用积分代替求和。

熵

熵，又称香农熵（Shannon entropy），一个分布$P$的熵记为$H(P)$，计算公式为：

$$H(P)={\mathbb{E}}_{x\sim P(x)}[-logP(x)]=\sum _{i=1}^{n}P(x_i)log\frac{1}{P(x_i)}$$

交叉熵

两个分布$P$和$Q$的交叉熵（Cross entropy）记为$H(P,Q)$，计算公式为：

$$H(P,Q)={\mathbb{E}}_{x\sim P(x)}[-logQ(x)]=\sum _{i=1}^{n}P(x_i)log\frac{1}{Q(x_i)}$$

KL散度

KL散度（Kullback–Leibler divergence）又称相对熵（relative entropy），两个分布$P$和$Q$的KL散度记为 $D_{KL}(P||Q)$，计算公式为：

$$D_{KL}(P||Q)={\mathbb{E}}_{x\sim P(x)}[log\frac{P(x)}{Q(x)}]=\sum _{i=1}^{n}P(x_i)log\frac{P(x_i)}{Q(x_i)}$$

由熵、交叉熵和KL散度的公式我们可得到三者的关系：
$$\begin{array}{rl}{D}_{KL}(P||Q)& =\sum _{i=1}^{n}P(x_i)log\frac{P(x_i)}{Q(x_i)}\\ & =\sum _{i=1}^{n}P(x_i)log\frac{1}{Q(x_i)}-\sum _{i=1}^{n}P(x_i)log\frac{1}{P(x_i)}\\ & =H(P,Q)-H(P)\end{array}$$

因此在机器学习的优化问题中，假设我们的目标分布是$P$。如果$P$在我们的优化过程中是固定的，即$H(P)$不变，那么使用$D_{KL}(P||Q)$和使用$H(P,Q)$是等价的，所以我们可以用计算更加方便的交叉熵而不是KL散度来作为Loss函数。

JS散度

两个分布$P$和$Q$的JS散度（Jensen–Shannon divergence）记为$JSD(P||Q)$，其计算公式为：

$$JSD(P||Q)=\frac{1}{2}{D}_{KL}(P||\frac{P+Q}{2})+\frac{1}{2}{D}_{KL}(Q||\frac{P+Q}{2})$$

对于$n$个分布$P_1,P_2,P_3...,P_n$，其JS散度记为$JS{D}_{{\pi }_1,{\pi }_2,{\pi }_3...,{\pi }_n}(P_1,P_2,P_3...,P_n)$，其中${\pi }_1,{\pi }_2,{\pi }_3...,{\pi }_n$分别是给分布$P_1,P_2,P_3...,P_n$赋予的权重。计算公式为：

$$JS{D}_{{\pi }_1,{\pi }_2,{\pi }_3...,{\pi }_n}(P_1,P_2,P_3...,P_n)=H(\sum _{i=1}^n{\pi }_i{P}_i)-\sum _{i=1}^n{\pi }_{i}H(P_i)$$

实际上，两个分布的JS散度对应了当$n=2$，且取${\pi }_1={\pi }_2=\frac{1}{2}$的情形，即：

$$JSD(P||Q)=H(\frac{P+Q}{2})-\frac{H(P)+H(Q)}{2}$$

上述式子不难验证，将KL散度的计算公式带入JS散度的计算公式，并将每个KL散度展开成交叉熵减去熵的形式，然后再合并就行，如下：
$$\begin{array}{rl}JSD(P||Q)& =\frac{1}{2}{D}_{KL}(P||\frac{P+Q}{2})+\frac{1}{2}{D}_{KL}(Q||\frac{P+Q}{2})\\ & =\frac{1}{2}[\sum _{i=1}^{n}P(x_i)log\frac{1}{\frac{P(x_i)+Q(x_i)}{2}}-\sum _{i=1}^{n}P(x_i)log\frac{1}{P(x_i)}]+\frac{1}{2}[\sum _{i=1}^{n}Q(x_i)log\frac{1}{\frac{P(x_i)+Q(x_i)}{2}}-\sum _{i=1}^{n}Q(x_i)log\frac{1}{Q(x_i)}]\\ & =\frac{1}{2}[\sum _{i=1}^{n}P(x_i)log\frac{1}{\frac{P(x_i)+Q(x_i)}{2}}+\sum _{i=1}^{n}Q(x_i)log\frac{1}{\frac{P(x_i)+Q(x_i)}{2}}]-\frac{1}{2}[\sum _{i=1}^{n}P(x_i)log\frac{1}{P(x_i)}+\sum _{i=1}^{n}Q(x_i)log\frac{1}{Q(x_i)}]\\ & =\sum _{i=1}^n\frac{P(x_i)+Q(x_i)}{2}log\frac{1}{\frac{P(x_i)+Q(x_i)}{2}}-\sum _{i=1}^n\frac{P(x_i)log\frac{1}{P(x_i)}+Q(x_i)log\frac{1}{Q(x_i)}}{2}\\ & =H(\frac{P+Q}{2})-\frac{H(P)+H(Q)}{2}\end{array}$$

互信息

挖坑待填

References

1. https://en.wikipedia.org/wiki/Entropy_(information_theory)
2. https://en.wikipedia.org/wiki/Cross_entropy
3. https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence
4. https://en.wikipedia.org/wiki/Jensen%E2%80%93Shannon_divergence