论文分享CausalVAE: Disentangled Representation Learning via Neural Structural Causal Models

【AI Drive】CVPR 2021 | CausalVAE：引入因果结构的解耦表征学习_哔哩哔哩_bilibili

目标1  学习到的表征 是具有唯一性的 ，是可以被识别的
根据真实情况设置，代表真实的物理情况，引入结构因果模型，为了表征可识别 引入监督信号
2 在因果表征中实现 do operation 
什么是 do operation   对隐表征能进行干预的时候，因果效应可以传递到子节点
通过干预可以让模型生成一些反事实的图片
3 在现实场景中 因果图 不一定是直接given的  让 模型自动的发现场景中的因果关系

深入浅出搞懂VAE-CSDN博客

摘要：

学习解纠缠的目的是寻找由观测数据的多个解释因素和生成因素组成的低维表示。变分自编码器(VAE)的框架通常用于从观测中分离独立因素。然而，在实际场景中，具有语义的因素并不一定是独立的。相反，可能存在一种潜在的因果结构，使这些因素相互依赖。因此，我们提出了一个新的基于VAE的框架CausalVAE，其中包括一个因果层，将独立的外生因素转换为因果内生因素，对应于数据中因果相关的概念。我们进一步分析了模型的可辨识性，表明从观测中学习的模型在一定程度上恢复了真实模型。在各种数据集上进行了实验，包括合成和真实单词基准CelebA。结果表明，使用CausalVAE学习到的因果表示具有语义可解释性，其因果关系作为一个有向无环图(DAG)被很好地识别。此外，我们证明了所提出的CausalVAE模型能够通过对因果因素的“do-operation”生成反事实数据。

1引言

解纠缠表示学习在计算机视觉、语音和自然语言处理等各种应用中都具有重要意义，推荐系统Hsu等人[2017]、Ma等人[2019]、Hsieh等人[2018]。原因是它可以通过学习数据的潜在解纠缠表示来帮助提高模型的性能，即提高对对抗性攻击的泛化能力、鲁棒性和可解释性。解开表示学习最常见的框架之一是变分自动编码器 (VAE)，这是一种经过训练以解开潜在解释因素的深度生成模型。通过 VAE 的解纠缠可以通过潜在因素后验与标准多元高斯先验之间的 Kullback-Leibler (KL) 散度的正则化项来实现，该正则化项强制学习到的潜在因素尽可能独立。如果现实世界中的