CausalVAE: Disentangled Representation Learning via Neural Structural Causal Models

Yang M., Liu F., Chen Z., Shen X., Hao J. and Wang J. CausalVAE: disentangled representation learning via neural structural causal models. arXiv preprint arXiv:2004.086975, 2020.

概

隐变量的因果表示.

主要内容

我们通常希望隐变量$z$能够表示一些特别的特征, 通过改变$z$使得生成的图形某些属性发生相应的变换, 但是这种设定的方式并不具备因果的关系, 比方说

这个摆锤, 其隐变量$z$是光照, 摆锤的角度, 影子的长短.

我们可以改变摆锤的角度, 一般的生成模型摆锤的角度变了, 但是光照和影子长短没有发生变化, 实际上由于摆锤角度的变化, 对于的隐变量:影子的长短也应该发生相应的变化以满足物理的规律. 如何把这些因果关系融入到普通的VAE中是本文的独到之处.

模型

Encoder 部分:

$$ϵ=h(x,u)+\zeta ,$$

$ϵ$可以看成是一个临时的隐变量;

$$z=(I-A{)}^{-1}ϵ.$$

Decoder部分:

$$z_i=g_i(A_i\circ z)+{ϵ}_i,$$
这一部分是重构$z$, 正是这一步的存在使得我们能够干预$z_i$使得其它的$z_j$也发生相应的改变.

$$x=f(z)+\xi .$$

联合分布为:
$$\begin{gathered} p_{\theta }(x,z,ϵ|u)=p_{\theta }(x|z,ϵ,u)p_{\theta }(ϵ,z|u), \\ {p}_{\theta }(x|z,ϵ,u)=p_{\theta }(x|z)=p_{\xi }(x-f(z)), \\ {p}_{\theta }(ϵ,z|u)=p_{ϵ}(ϵ)p_{\theta }(z|u),p_{ϵ}(ϵ)=\mathcal{N}(0,I), \\ {p}_{\theta }(z|u)=\prod _{i=1}^n{p}_{\theta }(z_i|u_i),p_{\theta }(z_i|u_i)=\mathcal{N}({\lambda }_1(u_i),{\lambda }_2^2({\mu }_i)). \end{gathered}$$

估计的后验分布为:
$$\begin{gathered} q_{\varphi }(z,ϵ|x,u)=q(z|ϵ)q_{\zeta }(ϵ-h(x,u)), \\ q(z|ϵ)=\delta (z=(I-A{)}^{-1}ϵ). \end{gathered}$$

注: $z,u,ϵ\in {\mathbb{R}}^n,x\in {\mathbb{R}}^d.$

ELBO

由此可以推出ELBO:
$${\mathbb{E}}_{q_{\mathcal{X}}}[{\mathbb{E}}_{ϵ,z\sim q_{\varphi }}[\log p_{\theta }(x|z,ϵ,u)]-\mathbb{D}(q_{\varphi }(ϵ,z|x,u))\Vert p_{\theta }(ϵ,z|u)].$$

由于$p(z|ϵ)=\delta (z=(I-A{)}^{-1}ϵ)$, 所以上式可以进一步化为:
$${\mathbb{E}}_{q_{\mathcal{X}}}[{\mathbb{E}}_{q_{\varphi (z|x,u)}}[\log p_{\theta }(x|z)]-\mathbb{D}(q_{\varphi }(ϵ|x,u)\Vert p_{ϵ}(ϵ))-\mathbb{D}(q_{\varphi }(z|x,u)\Vert p_{\theta }(z|u))]+\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}.$$

关于$A$

正如在这儿所论述的, $A$需要对应一个有向无环图, 本文采取的策略是:
$$H(A)=\mathrm{t}\mathrm{r}((I+\frac{c}{n}A\circ A{)}^n)-n=0,$$
这里$c$是任意正数.

同时为了满足$z$重构, 需要以下条件满足:
$$l_m={\mathbb{E}}_{q_{\varphi }}\sum _{i=1}^n\Vert z_i-g_i(A_i\circ z){\Vert }^2\le {\kappa }_2,$$
注: 这里$z_i$是重构前的.

特别的, 为了更好地用额外信息(不是很认同, 感觉得看实际情况吧):
$$l_u={\mathbb{E}}_{q_{\mathcal{X}}}\Vert u-\sigma (A^{T}u){\Vert }_2^2\le {\kappa }_1,$$
所以最终的损失为:
$$\mathcal{L}=-\mathrm{E}\mathrm{L}\mathrm{B}\mathrm{O}+\alpha H(A)+\beta l_u+\gamma l_m,$$
注: 本文不像别的方法一样用augmented Lagrange 求解.

注: 作者设计的实验实在是非常有趣.