MINE：Mutual Information Neural Estimation

Mutual Information Neural Estimation

Paper:https://arxiv.org/pdf/1801.04062v4.pdf
Code:https://github.com/mzgubic/MINE
Tips：ICML2018的一篇paper。
（阅读笔记）

1.Main idea

• 高维连续随机变量的互信息的估计可以被神经网络通过梯度下降实现。the estimation of mutual information between high dimensional continuous random variables can be achieved by gradient descent over neural networks.
• We present a Mutual Information Neural Estimator (MINE).
• 实验提出了一些应用。

2.Intro

• 提出了MINE，which is scalable, flexible, and completely trainable via back-prop, as well as provide a thorough theoretical analysis.
• 互信息比GAN的一些目标函数表现出更优秀的结果。
• We use MINE to apply the Information Bottleneck method.可用于信息瓶颈。（平衡准确度和复杂度的一种方法 It is designed for finding the best tradeoff between accuracy and complexity）
• Mutual Information，$f$-divergence都较为熟悉。对于KL散度的另一表示：Donsker-Varadhan representation有，其中$T$表示函数：
  $$\begin{array}{r}{D}_{\mathbf{K}\mathbf{L}}(\mathbb{P}\Vert \mathbb{Q})=\underset{T:\Omega \to \mathbb{R}}{\sup }{\mathbb{E}}_{\mathbb{P}}[T]-\log ({\mathbb{E}}_{\mathbb{Q}}[{\mathrm{e}}^T)])\end{array}\text{\hspace{1em}(1)}$$
  推导如下：
  $$\begin{array}{rl}{\mathbb{E}}_{\mathbb{P}}[T]& -\log ({\mathbb{E}}_{\mathbb{Q}}[\exp (T)])=\sum _i{p}_i{t}_i-\log \sum _i{q}_i{\mathrm{e}}^{t_i}\\ & \to \frac{\partial \left[{\sum }_i{p}_i{t}_i-\log {\sum }_i{q}_i{\mathrm{e}}^{t_i}\right]}{\partial t_j}=0\\ & \to p_j-\frac{q_j{\mathrm{e}}^{t_j}}{{\sum }_i{q}_i{\mathrm{e}}^{t_i}}=0\\ & \to p_j\sum _i{q}_i{\mathrm{e}}^{t_i}=q_j{\mathrm{e}}^{t_j}\\ & \to t_j=\log \frac{p_j}{q_j}+\log \sum _i{q}_i{\mathrm{e}}^{t_i}\end{array}\text{\hspace{1em}(2)}$$
  令后面一部分$\log {\sum }_i{q}_i{\mathrm{e}}^{t_i}$为$\alpha$，并将$t_j$带入$t_i$所以有：
  $$\begin{array}{rl}\sum _i{p}_i{t}_i-\log \sum _i{q}_i{\mathrm{e}}^{t_i}& =\sum _i{p}_i{t}_i-\log \sum _i{q}_i{\mathrm{e}}^{t_i}\\ & =\sum _i{p}_i(\log \frac{p_j}{q_j}+\alpha )-\log \sum _i{q}_i{\mathrm{e}}^{\log (\frac{p_j}{q_j}+\alpha )}\\ & =\sum _i{p}_i(\log \frac{p_j}{q_j}+\alpha )-\log \sum _i{\mathrm{e}}^{\alpha }{q}_i\frac{p_j}{q_j}\\ & =\sum _i(p_i\log \frac{p_j}{q_j})+\alpha -\alpha \log \sum _i{q}_i\frac{p_j}{q_j}\\ & =\sum _i(p_i\log \frac{p_j}{q_j})+\alpha -\alpha \cdot \log 1\\ & =\sum _i{p}_i\log \frac{p_j}{q_j}\\ & =D_{\mathbf{K}\mathbf{L}}(p\Vert q)\end{array}\text{\hspace{1em}(3)}$$
  即找到取最优的$t_j$带入即是 $D_{\mathbf{K}\mathbf{L}}(p\Vert q)$，其实已经可以感觉这样可以用梯度下降的方式就能找到这个函数了。
  Tips：一般的，当$D_{\mathbf{K}\mathbf{L}}(P\Vert Q)$表示的是$P$，$Q$之间距离，一般训练就让这两个分布之间距离最小。而$D_{\mathbf{K}\mathbf{L}}((P,Q)\Vert (P\cdot Q))$就表示的是$P$，$Q$之间的互信息，一般训练最大化，这个分布就越相似。

3.Details

• 互信息定义如下所示，其中${\mathbb{P}}_{XZ}$，为联合分布；${\mathbb{P}}_X$和${\mathbb{P}}_Z$为边缘分布：
  $$\begin{array}{rl}I(X;Z)& =H(X)-H(X|Z)\\ & ={\int }_{\mathcal{X}\times \mathcal{Z}}\log \frac{d{\mathbb{P}}_{XZ}}{d{\mathbb{P}}_X\otimes {\mathbb{P}}_Z}d{\mathbb{P}}_{XZ}\\ & =D_{KL}\left({\mathbb{P}}_{XZ}\Vert {\mathbb{P}}_X\otimes {\mathbb{P}}_Z\right)\end{array}\text{\hspace{1em}(4)}$$
  通过神经网络进行信息测量的表达式$I_{\Theta }(X,Z)$如下所示，其中$T_{\theta }$是神经网络函数，其实$T_{\theta }$或者$\mathcal{F}$是使样本集映射到实数$\mathbb{R}$的泛函， F = { T θ } θ ∈ Θ \mathcal{F}=\{T_{\theta} \}_{\theta \in \Theta} F={Tθ​}θ∈Θ​，通过对$\theta$优化得到不同的$T_{\theta }$来接近互信息的值：
  $$\begin{array}{rl}I(X;Z)& \ge I_{\Theta }(X,Z)\\ & =\underset{\theta \in \Theta }{\sup }{\mathbb{E}}_{{\mathbb{P}}_{(X,Z)}}\left[T_{\theta }\right]-\log ({\mathbb{E}}_{{\mathbb{P}}_X\times {\mathbb{P}}_Z}\left[e^{T_{\theta }}\right])\end{array}\text{\hspace{1em}(5)}$$
  于是有MINE的最终定义如下，其中${\hat{\mathbb{P}}}^n$是$n$个抽取的样本的经验分布：
  $$\begin{array}{r}\widehat{I(X;Z{)}_n}=\underset{\theta \in \Theta }{\sup }{\mathbb{E}}_{{\mathbb{P}}_{(X,Z)}^n}\left[T_{\theta }\right]-\log ({\mathbb{E}}_{{\mathbb{P}}_X^n\times {\hat{\mathbb{P}}}_Z^n}\left[e^{T_{\theta }}\right])\end{array}\text{\hspace{1em}(6)}$$
• 训练过程如下所示。主要分为两个步骤，训练网络逼近互信息找到下界（理解：这篇paper并没有像infogan一样重新构造一个分布去近似，而是直接最大化。其实$\sup$最大化有两层意义，最大化以便接近互信息的值，最大化来使互信息最大使两个分布相似），训练网络完成任务目标。
• 互信息估计应用到GAN后，其损失函数就改变了。类似有infoGAN，其中$ϵ$，$\varsigma$分别是生成器的输入噪声和编码，独立变量；所以互信息就有$I(G([ϵ,\varsigma ]);\varsigma )$，目标生成器输出$G([ϵ,\varsigma ])$与编码$\varsigma$之间互信息最大，即生成器的目标函数有下式，独立变量直接喂数据即可：
  $$\begin{array}{r}\arg \underset{G}{\max }\mathbb{E}\left[\log (D(G(ϵ,\varsigma )))+\beta I(G([ϵ,\varsigma ]);\varsigma )\right]\end{array}\text{\hspace{1em}(7)}$$
  $$\begin{array}{r}\arg \underset{G_{\theta }}{\max }{\mathbb{E}}_{ϵ,\varsigma }\left[\log (D(G(ϵ,\varsigma )))\right]+\beta \cdot \left[{\mathbb{E}}_{ϵ,\varsigma }(T_{\theta })-\log ({\mathbb{E}}_{ϵ,\varsigma }\left[e^{T_{\theta }}\right])\right]\end{array}\text{\hspace{1em}(8)}$$
  相当于在GAN的基础上，输入生成器的编码$\varsigma$与生成器的输出$G([ϵ,\varsigma ])$通过一个神经网络映射函数$T_{\theta }$，要求这个网络的输出值越高越好。