FactorVAE

Disentangling by Factorising

本文旨在解决$\beta$-VAE在重建上存在模糊的问题。首先分析了$\beta$-VAE的问题：
$\beta$-VAE的目标函数为$$\frac{1}{N}\sum _{i=1}^N\left[{\mathbb{E}}_{q\left(z|x^{(i)}\right)}\left[\log p\left(x^{(i)}|z\right)\right]-\beta KL\left(q\left(z|x^{(i)}\right)\Vert p(z)\right)\right]$$我们可以进一步把KL散度部分化解为$${\mathbb{E}}_{p_{\text{data}}(x)}[KL(q(z|x)\Vert p(z))]=I(x;z)+KL(q(z)\Vert p(z))$$其中$I(x;z)$为$x,z$的互信息，且$$q(z)={\mathbb{E}}_{p_{\text{data}}}(x)[q(z|x)]$$$KL(q(z)\Vert p(z))$部分让隐变量$z$的各个维度相互独立；然而惩罚互信息部分会减少$z$中关于$x$的信息，从而越大的$\beta$会导致重构能力降低！那么就是说对于KL部分我们期待一个较大的$\beta$，但是对于互信息部分则不需要一个太大的$\beta$。
本文方法的目标函数则在正常的VAE中加入额外的正则项$$\begin{array}{rl}\frac{1}{N}\sum _{i=1}^N[{\mathbb{E}}_{q\left(z|x^{(i)}\right)}\left[\log p\left(x^{(i)}|z\right)\right]& -KL\left(q\left(z|x^{(i)}\right)\Vert p(z)\right)]-\gamma KL(q(z)\Vert \overline{q}(z))\end{array}$$其中$\overline{q}(z):={\prod }_{j=1}^{d}q\left(z_j\right)$，$KL(q(z)\Vert \overline{q}(z))$常常称为$Total\_Correlation$，一个用于测量多变量独立性的度量。但是这个部分很难直接处理，可以按照如下进行采样：
对于$q(z)$的采样，可以随机选择一个样本$x^{(i)}$，然后从$q\left(z|x^{(i)}\right)$中采出$z$；对于$\overline{q}(z)$的采样，首先从$q(z)$中采样出$d$个样本，然后每个样本仅仅保留一个维度，从而得到了一个$\overline{q}(z)$的样本。在本文中采用了另一个更加高效的方法

对于新引入的KL部分，本文采用density-ratio trick$$\begin{array}{rl}TC(z)& =KL(q(z)\Vert \overline{q}(z))={\mathbb{E}}_{q(z)}\left[\log \frac{q(z)}{\overline{q}(z)}\right]\approx {\mathbb{E}}_{q(z)}\left[\log \frac{D(z)}{1-D(z)}\right]\end{array}$$其中$D(z)$是一个二分类器，判断样本$z$来自$q(z)$时，标签为1。从而整个算法流程为