VAE:Variational AutoEncoder,变分自编码器,根据输入的数据的分布,类型,来模拟生成类似于输入数据的数据生成模型。它是从观测数据中分离出独立的隐藏因子。与GAN类似,均为生成模型。
一、以往工作的问题:
1、概念变量通常是有联系的(因果关系);
2、无监督学习不能保证学习到的表征是可识别的(2019谷歌)。
二、paper提出:
1、对齐真实世界的解耦表征(结构因果模型、引入监督信号);
2、在因果表征中实现Do操作(表征上的改变会反映到重构的图像上、使用干预和反事实)
3、自动学习因果图
因果如何使用?
将因果图加入到得到的表征上并加入外生变量,构造新的结构方程(*)。
三、All framework
其中:x:picture;u:signal; e:外生变量; Z:表征; A:SCM
分为两阶段:inference与generate;
在原VAE的基础上加入因果层,找到因果关系,并传递给解码器。
mask层:控制不同变量的时候,能实现干预,从父结点传递到子节点。
//DAG-GAN paper中DAG的限制条件。
四、invention result:钟摆
钟摆角度、太阳角度、影子角度、影子位置
//CausalGAN paper:学到的the true 因果图。
CausalVAE生成的表征是可解释的;允许人为干预,通过干预某一隐藏因子生成数据。
解耦表征学习有利于增加模型的可解释性,隐藏因子的因果结构是自动学习的。
参考文献:
CVPR 2021 Open Access Repository
可能的应用:
数据:数据增强、冷启动、自动驾驶中的阴影去除。
下游工作: 图像分类、理解。
This paper 使用的signal相当于使用了监督学习,可研究推广到半监督或者弱监督中。
P.s.
无监督需要inductive bias;基于因果关系的数据增强;抛弃独立性建模,使用因果结构建模;在数据中发现因果关系,去除不必要的信息或提高准确率;因果当作神经网络中的正则项,包裹层?