互信息的原理、计算和应用

Mutual Information 互信息

Background

熵 Entropy

在信息论中，熵是给定概率下的最佳编码方法^[1]
$$\begin{array}{rl}H(x)& =-{\mathbb{E}}_x[\log p(x)]\\ & =-\sum _{x}p(x)\log p(x)\\ & =-\int p(x)\log p(x)\end{array}$$

交叉熵 Cross Entropy

从信息论的角度看，交叉熵是用本来为$q(x)$事件编码的规则来对一个全新的事件$p(x)$
$$\begin{array}{rl}H(p,q)& =-{\mathbb{E}}_{x\sim p(x)}[q(x)]\\ & =-\sum _{x}p(x)\log q(x)\\ & =-{\int }_{x}p(x)\log q(x)\end{array}$$
显然由于对$p(x)$采用了其他的编码方式，有$H(p,p)<H(p,q)$。采用其他编码方式造成的资源浪费就定义为KL-散度(KL-divergence)，也叫相对熵
$$D_{KL}=H(p,q)-H(p)$$

条件熵 Conditional Entropy

条件熵是指已知某个变量$Z$之后，变量$X$的熵
$$\begin{array}{rl}H(X|Z)& =-{\mathbb{E}}_{x,z}[p(x|z)]\\ & =-\sum _{x,z}p(x,z)\log p(x|z)\\ & =-{\int }_{x,z}p(x,z)\log p(x|z)\end{array}$$

显然$H(X)>H(X|Z)$。

KL-散度 KL-divergence

$$\begin{array}{rl}{D}_{KL}(p(x)||q(x))& =H(p|q)-H(p)\\ & =\sum _{x}p(x)\log \frac{p(x)}{q(x)}\\ & =\int p(x)\log \frac{p(x)}{q(x)}\end{array}$$

KL-散度可以看成是两个概率分布之间的度量，需要注意的是它没有对称性，并且$D_{K}L(p(x)||q(x))\ge 0$^[4]。(Appendix A.)

定义

互信息量化了两个随机变量X和Z之间的相关性^[2]
$$\begin{array}{rl}I(X;Z)& =D_{KL}({\mathbb{P}}_{XZ}||{\mathbb{P}}_X\otimes {\mathbb{P}}_Z)\\ & ={\int }_{\mathcal{X}\times \mathcal{Z}}\log \frac{d{\mathbb{P}}_{XZ}}{d{\mathbb{P}}_X\otimes {\mathbb{P}}_Z}d{\mathbb{P}}_{XZ}\end{array}$$
其中${\mathbb{P}}_{XZ}$是联合概率分布，${\mathbb{P}}_X={\int }_{\mathcal{Z}}d{\mathbb{P}}_{XZ}$与${\mathbb{P}}_Z={\int }_{\mathcal{X}}d{\mathbb{P}}_{XZ}$边缘分布函数，也就是说互信息可以看成联合概率分布和边缘概率分布之积的距离。

互信息也可以理解为在已知变量$Z$的情况下，表示变量$X$所节省的资源
$$I(X;Z)=H(x)-H(X|Z)$$
与相关系数不同的是，互信息更倾向于捕捉非线形的关系。但是，一般情况下的互信息是很难计算的，因为变量X和Z的概率分布难以获得。

计算方法

Variational approach^[3]

考虑到$D_{KL}(p(x|y)||q(x|y))\ge 0$，则
$$\sum _{x}p(x|y)\log p(x|y)-p(x|y)\log q(x|y)\ge 0$$
那么可以得到
$$\begin{array}{rl}I(x,y)& =H(x)-H(x|y)\\ & =H(x)-\sum _{y}p(y)\sum _{x}p(x|y)\log p(x|y)\\ & \ge H(x)+\sum _{y}p(y)\sum _{x}p(x|y)\log q(x|y)\\ & =H(x)+{\mathbb{E}}_{x,y\sim p(x,y)}[\log q(x|y)]\\ & \stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}\tilde{I}(x,y)\end{array}$$

只要不断的推进$\tilde{I}(x,y)$的边界，就能得到互信息的估计值。假设估计的目标为$p(y|x,\theta )$，与EM算法类似，IM算法进行以下迭代

1. 固定$q(x|y)，{\theta }^{new}=\arg {\max }_{\theta }[\tilde{I}(x,y)]$
2. 固定$\theta ，q^{new}=\arg {\max }_{(q(x|y)\in Q)}\tilde{I}(x,y)$

其中$Q$是特定的概率分布，可以方便$E_{(x,y\sim p(x,y)})[\log q(x|y)]$的计算，一般情况下选为高斯分布。

Mutual Information Neural Estimation, MINE^[5]

根据KL散度的Donsker-Varadhan表示
$$D_{KL}(\mathbb{P}||\mathbb{Q})=\underset{T:\Omega \to \mathbb{R}}{\sup }{\mathbb{E}}_{\mathbb{P}}[T]-\log {\mathbb{E}}_{\mathbb{Q}}[e^T]$$
不断推进这个函数的上界就可以得到KL-散度的估计值。 (Appendix B.)

其中$\theta$就是神经网络的参数。

DEEP INFOMAX^[6]

1. 同时优化计算互信息的网络参数$\omega$和生成器的参数$\psi$
   $$(\hat{\omega },\hat{\psi })=\arg \underset{\omega ,\psi }{\max }{\hat{I}}_{\omega }(X,E_{\psi }(X))$$
   因为同时对$\omega ,\psi$进行优化，因此可以让编码器E和互信息的估计网络T共享某些神经网络层，即$E_{\psi }=f_{\psi }\circ C_{\psi }$，$T_{\omega ,\psi }=D_{\omega }\circ g\circ (C_{\psi },E_{\psi })$

2. 可以使用非KL-散度对互信息进行估计，比如Jenson-Shannon估计
   $${\hat{I}}_{\omega ,\psi }^{(\mathrm{J}\mathrm{S}\mathrm{D})}:={\mathbb{E}}_{\mathbb{P}}[-\mathrm{s}\mathrm{p}(-T_{\omega ,\psi }(x,E_{\psi }(x)))]-{\mathbb{E}}_{\mathbb{P}\times \tilde{\mathbb{P}}}[\mathrm{s}\mathrm{p}(T_{\omega ,\psi }(x,E_{\psi }(x)))]$$
   其中$\mathrm{s}\mathrm{p}(z)=\log (1+e^z),x\sim P,x^{\prime }\sim \tilde{P}$。

   或者噪音对比估计Noise-Contrastive Estimation (NCE)
   $${\hat{I}}_{\omega ,\psi }^{(\mathrm{i}\mathrm{n}\mathrm{f}\mathrm{o}NCE)}:={\mathbb{E}}_{\mathbb{P}}[T_{\omega ,\psi }(x,E_{\psi }(x))-{\mathbb{E}}_{\tilde{\mathbb{P}}}[\log \sum _{x^{\prime }}{e}^{T_{\omega ,\psi }(x^{\prime },E_{\psi }(x))}]]$$

应用

迁移学习

不仅利用老师网络的logits层和标签进行调整，还利用中间层之间的互信息^[7]。由变分法可知
$$\begin{array}{rl}I(t;s)& =H(t)-H(t|s)\\ & \ge H(t)+{\mathbb{E}}_{t,s}[\log q(t|s)]\end{array}$$
则模型的损失函数变为
$$\tilde{\mathcal{L}}={\mathcal{L}}_S-\sum _{k=1}^K{\lambda }_k{\mathbb{E}}_{t^{(k)},s^{(k)}}[\log q(t^{(k)}|s^{(k)})]$$

强化学习+迁移学习^[8]

强化学习迁移的一个阻碍是，两个不同任务之间的动作空间、状态空间等不一致。通过互信息可以对不同任务的空间进行转化，达到迁移强化学习的目的

最终的损失函数由三部分组成
$$\begin{array}{rl}{\mathcal{L}}_{\mathrm{c}\mathrm{o}\mathrm{u}\mathrm{p}\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{g}}& =-\frac{1}{N_{\pi }}\sum _{j=1}^{N_{\pi }}\log p_{\theta }^j-\frac{1}{N_V}\sum _{j=1}^{N_V}\log p_{\psi }^j\\ {\mathcal{L}}_{\mathrm{P}\mathrm{P}\mathrm{O}}& ={\mathcal{L}}_{\mathrm{P}\mathrm{P}\mathrm{O}}^{\theta }+{\mathcal{L}}_{\mathrm{P}\mathrm{P}\mathrm{O}}^{\psi }\\ {\mathcal{L}}_{\mathrm{M}\mathrm{I}(\varphi ,\omega )}& =-{\mathbb{E}}_{s\sim {\rho }_{{\pi }_{\theta }}}[\log q_{\omega }(s|\varphi (s))]\end{array}$$

自监督学习^[6]

通过正负采样样本之间的互信息和图片的空间信息，网络在无监督的情况下学习图片深层的信息。

References

1. http://colah.github.io/posts/2015-09-Visual-Information/
2. Mutual Information Neural Estimation. https://arxiv.org/pdf/1801.04062.pdf
3. The IM Algorithm: A variational approach to Information Maximization. http://aivalley.com/Papers/MI_NIPS_final.pdf
4. https://zhuanlan.zhihu.com/p/39682125
5. https://arxiv.org/pdf/1801.04062.pdf
6. Learning Deep Representation By Mutual Information Estimation and Maximization. https://arxiv.org/pdf/1808.06670.pdf
7. Variational Information Distillation for Knowledge Transfer. https://openaccess.thecvf.com/content_CVPR_2019/papers/Ahn_Variational_Information_Distillation_for_Knowledge_Transfer_CVPR_2019_paper.pdf
8. Mutual Information Based Knowledge Transfer Under State-Action Dimension Mismatch. https://arxiv.org/pdf/2006.07041.pdf

Appendix

A.

$D_{KL}(p(x)||q(x))\ge 0$

设$f(x)\ge 0且{\int }_{x}f(x)=1$ ，$g$为任意可测实函数且$\phi$为凸函数，则有Jensen不等式如下
$$\phi \left({\int }_{x}g(x)f(x)\right)\le {\int }_x\phi (g(x))f(x)$$
注意到$-\ln x$为严格凸函数，且$q(x)\ge 0,{\int }_{x}q(x)=1$。令$\phi (x)=-\ln x,g(x)=\frac{q(x)}{p(x)},f(x)=p(x)$，则
$$D_{KL}(p||q)={\int }_{x}p(x)\left[-\ln \frac{q(x)}{p(x)}\right]\ge -\ln {\int }_{x}q(x)=0$$

B.

$$D_{KL}(\mathbb{P}||\mathbb{Q})=\underset{T:\Omega \to \mathbb{R}}{\sup }{\mathbb{E}}_{\mathbb{P}}[T]-\log {\mathbb{E}}_{\mathbb{Q}}[e^T]$$

A simple proof goes as follows. For a given function $T$, consider the Gibbs distribution $\mathbb{G}$ defined by $d\mathbb{G}=\frac{1}{Z}{e}^{T}d\mathbb{Q}$, where $Z=E_{\mathbb{Q}}[e^T]$. By construction,
$${\mathbb{E}}_{\mathbb{P}}[T]-\log Z={\mathbb{E}}_{\mathbb{P}}[\log \frac{d\mathbb{G}}{d\mathbb{Q}}](1)$$
Let $∆$ be the gap,
$$∆:=D_{KL}(\mathbb{P}||\mathbb{Q})-({\mathbb{E}}_{\mathbb{P}}[T]-\log {\mathbb{E}}_{\mathbb{Q}}[e^T])(2)$$
Using (1), we can write $∆$ as a KL-divergence:
$$∆:={\mathbb{E}}_{\mathbb{P}}[\log \frac{d\mathbb{P}}{d\mathbb{Q}}-\log \frac{d\mathbb{G}}{d\mathbb{Q}}]={\mathbb{E}}_{\mathbb{P}}[\log \frac{d\mathbb{P}}{d\mathbb{G}}]=D_{KL}(\mathbb{P}||\mathbb{G})(3)$$
The positivity of the KL-divergence gives $∆\ge 0$. We have thus shown that for any $T$,
$$D_{KL}(\mathbb{P}||\mathbb{Q})={\mathbb{E}}_{\mathbb{P}}[T]-\log ({\mathbb{E}}_{\mathbb{Q}}[e^T])$$
and the inequality is preserved upon taking the supremum over the right-hand side. Finally, the identity (3) also shows that this bound is tight whenever $\mathbb{G}=\mathbb{P}$, namely for optimal functions $T^{\ast }$ taking the form $T^{\ast }=\log \frac{d\mathbb{P}}{d\mathbb{Q}}+C$ for some constant $C\in \mathbb{R}$.