InfoGAN：Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets

InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets

Paper:https://arxiv.org/abs/1606.03657
Code:https://github.com/openai/InfoGAN
Tips：Nips2016的一篇paper。
（阅读笔记）

1.Main idea

• 最大化互信息作为目标函数。maximizes the mutual information between a small subset of the latent variables and the observation.
• 分辨出了各个数据集的某种风格。（即书写的方向）disentangles writing styles from digit shapes on the MNIST dataset…
• 甚至发现了人脸发型等等视觉概念。It also discovers visual concepts that include hair styles, presence/absence of eyeglasses, and emotions on the CelebA face dataset.

2.Intro

• 无监督学习很重要，也很有效，甚至一些监督学习下游任务（downstream tasks）有时也需要无监督先找到很好的潜在表示。
• 分离表示（disentangled representation）能够更好的学到各个变量与特征之间的关系。
• 在观察与噪声之间最大互信息。

3.Details

• GAN的生成器输入只是随机噪声$z$，并没有给予特定的约束，或许这个$z$在某个高维对输出有很大作用。所以对将输入$z$划分为了两个部分：噪声$z$；潜在编码$c$对应结构性特征数据，所以生成器有两个参数即$G(z,c)$。一般原始GAN我们都是直接使$P_G(x|c)=P_G(x)$，忽略了$c$的作用，直接将结果条件概率省去。
• 互信息$I(c;G(z,c))$应该很高；如下式所示，其中$H(\cdot )$表示信息熵：
  $$\begin{array}{rl}I(X;Y)& =H(X)-H(X|Y)\\ & =H(Y)-H(Y|X)\\ & =\sum _Y\sum _{X}p(x,y)\log \frac{p(x,y)}{p(x)p(y)}\\ & where:H(X)=-\sum _{X}P(x)\log P(x)=-{\int }_{X}p(x)\log p(x)\mathrm{d}x=-{\mathbb{E}}_{x\sim X}\left[\log p(x)\right]\end{array}\text{\hspace{1em}(1)}$$
  很明显地，从互信息可以看出当$p(x)$和$q(x)$独立的时候，$I(X;Y)$为0，表示无关；若$I(X;Y)$很高，则可以表示两组关系很大。从生成器中得到了任意$x$，目标让生成器中的后验$P_G(c|x)$，即潜在编码$c$具有更小的信息熵；这样才能描述从$x$到$c$的回溯过程仍然没有丢失潜在编码的信息：
  $$\begin{array}{r}\underset{G}{\min }\underset{D}{\max }{\mathbb{E}}_{x\sim P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}}[\log D(x)]+{\mathbb{E}}_{z\sim \mathrm{n}\mathrm{o}\mathrm{i}\mathrm{s}\mathrm{e}}[\log (1-D(G(z)))]-\lambda I(c;G(z,c))\end{array}\text{\hspace{1em}(2)}$$
  上式子中前部分就是GAN的目标函数；后面可以理解是$\lambda$参数影响下的惩罚，最大化生成器输出与潜在编码的关系。
• 后验$P_G(c|x)$，很难获得，构造了一个辅助分布$Q(c|x)$去近似，生成器$G(z,c)$得到的是$x$，所以找下边界：
  $$\begin{array}{rlr}I(c;G(z,c))& =H(c)-H(c|G(z,c))& \\ & =H(c)+{\mathbb{E}}_{x\sim G(z,c)}\left[{\mathbb{E}}_{c^{{}^{\prime }}\sim P(c|x)}\left[\log P(c^{{}^{\prime }}|x)\right]\right]& \\ & =H(c)+{\mathbb{E}}_{x\sim G(z,c)}\left[{\int }_{c^{\prime }\sim P(c|x)}p(c^{\prime }|x)\log p(c^{\prime }|x)\mathrm{d}{c}^{\prime }\right]& \\ & =H(c)+{\mathbb{E}}_{x\sim G(z,c)}\left[{\int }_{c^{\prime }\sim P(c|x)}p(c^{\prime }|x)\log \frac{p(c^{\prime },x)}{p(x)}\mathrm{d}{c}^{\prime }\right]& \\ & =H(c)+{\mathbb{E}}_{x\sim G(z,c)}\left[{\int }_{x\sim X}p(\cdot |x)\log \frac{p(\cdot |x)}{q(\cdot |x)}\mathrm{d}x+{\int }_{c^{\prime }\sim Q(c|x)}q(c^{\prime }|x)\log q(c^{\prime }|x)\mathrm{d}{c}^{\prime }\right]& \text{Let Q→P}\\ & =H(c)+{\mathbb{E}}_{x\sim G(z,c)}\left[D_{KL}(P(\cdot |x)\Vert Q(\cdot |x))+{\mathbb{E}}_{c^{{}^{\prime }}\sim P(c|x)}\left[\log Q(c^{{}^{\prime }}|x)\right]\right]& \\ & \ge H(c)+{\mathbb{E}}_{x\sim G(z,c)}\left[{\mathbb{E}}_{c^{{}^{\prime }}\sim P(c|x)}\left[\log Q(c^{{}^{\prime }}|x)\right]\right]& \text{Only if Q=P}\end{array}\text{\hspace{1em}(3)}$$
  上述式子即是构造出一个分布$Q$，用$\mathbf{K}\mathbf{L}$散度去衡量两分布差距，并最小化；那么$Q$就接近$P$。
• 文中$\mathbf{L}\mathbf{e}\mathbf{m}\mathbf{m}\mathbf{a}5.1$：随机变量关于某一函数的期望有一转换方式，即后验并不会影响到先验以及总体的期望，原文中的证明有些问题，重新证明后如下。
  • 首先总体期望公式，条件概率的期望与其本身的期望是一样的（小部分的期望和总体期望一样）：
    $$\begin{array}{rl}E[E[X|Y]]& =E\left[\sum _{x}x\cdot P(X=x|Y)\right]\\ & =\sum _y\left[\sum _{x}x\cdot P(X=x|Y=y)\right]P(Y=y)\\ & =\sum _{x}x\sum _{y}P(X=x|Y=y)\cdot P(Y=y)\\ & =\sum _{x}x\sum _{y}P(X=x\text{and}Y=y)\\ & =\sum _{x}x\cdot P(X=x)\\ & =E[X]\end{array}\text{\hspace{1em}(4)}$$
    或者：
    $$\begin{array}{rlr}{E}_Y[E_X[X|Y]]& ={\int }_Y{E}_X\left[X|Y\right]f(y)\mathrm{d}y& \\ & ={\int }_Y\left[{\int }_{X}x\frac{f(x,y)}{f(y)}\mathrm{d}x\right]f(y)\mathrm{d}y& \\ & ={\int }_Y{\int }_{X}x\frac{f(x,y)}{f(y)}\mathrm{d}xf(y)\mathrm{d}y& \text{f(y) is constant w.r.t. Y}\\ & ={\int }_Y{\int }_{X}xf(x,y)\mathrm{d}x\mathrm{d}y& \\ & ={\int }_{X}x{\int }_{Y}f(x,y)\mathrm{d}y\mathrm{d}x& \text{X is constant w.r.t. Y}\\ & ={\int }_{X}x\left[{\int }_{Y}f(x,y)\mathrm{d}y\right]\mathrm{d}x& \\ & ={\int }_{X}xf(x)\mathrm{d}x& \\ & =E_X[X]& \end{array}\text{\hspace{1em}(5)}$$
  • $\mathbf{L}\mathbf{e}\mathbf{m}\mathbf{m}\mathbf{a}5.1$即是总体期望公式的应用：
    $$\begin{array}{rlr}{\mathbb{E}}_{x\sim X,y\sim Y|x}[f(x,y)]& ={\int }_{x}P(x){\int }_{y}P(y|x)f(x,y)\mathrm{d}y\mathrm{d}x& \\ & ={\int }_x{\int }_{y}P(x,y)f(x,y)\mathrm{d}y\mathrm{d}x& \\ & ={\int }_{y}P(y){\int }_{x}P(x|y)f(x,y)\mathrm{d}x\mathrm{d}y& \\ & ={\int }_{y}P(y)\left[{\int }_{x^{\prime }}P(x^{\prime }|y)f(x^{\prime },y)\mathrm{d}{x}^{\prime }\right]\mathrm{d}y& \text{rename x to x′}\\ & ={\int }_{x}P(x)\left[{\int }_{y}P(y|x)\left[{\int }_{x^{\prime }}P(x^{\prime }|y)f(x^{\prime },y)\mathrm{d}{x}^{\prime }\right]\mathrm{d}y\right]\mathrm{d}x& \\ & ={\mathbb{E}}_{x\sim X,y\sim Y|x,x^{\prime }\sim X|y}[f(x^{\prime },y)]& \end{array}\text{\hspace{1em}(6)}$$
    于是互信息$I$有：
    $$\begin{array}{rl}I(c;G(z,c))& \ge H(c)+{\mathbb{E}}_{x\sim G(z,c)}\left[{\mathbb{E}}_{c^{{}^{\prime }}\sim P(c|x)}\left[\log Q(c^{\prime }|x)\right]\right]\\ & =H(c)+{\mathbb{E}}_{c\sim P(c),x\sim P_G(x|c)}\left[{\mathbb{E}}_{c^{{}^{\prime }}\sim P(c|x)}\left[\log Q(c^{\prime }|x)\right]\right]\\ & =H(c)+{\mathbb{E}}_{c\sim P(c),x\sim G(z,c)}\left[\log Q(c|x)\right]\\ & =L_I(G,Q)\end{array}\text{\hspace{1em}(7)}$$
• infoGAN最后的目标函数就应该优化$G$，$D$以及$Q$三者：
  $$\begin{array}{r}\underset{G,Q}{\min }\underset{D}{\max }{\mathbb{E}}_{x\sim P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}}[\log D(x)]+{\mathbb{E}}_{z\sim \mathrm{n}\mathrm{o}\mathrm{i}\mathrm{s}\mathrm{e}}[\log (1-D(G(z)))]-\lambda L_I(G,Q)\end{array}\text{\hspace{1em}(8)}$$
  在训练实现过程中，$Q(c|x)$就直接是一个神经网络，即是生成器得到的$x$即要欺骗判别器$D$，又要经过神经网络$Q$后与当时送入生成器的参数$c$互信息最大。