CausalVAE： Disentangled Representation Learning via Neural Structural Causal Models笔记

已于 2023-05-15 22:42:23 修改
阅读量1.2k 收藏 1
点赞数 2
文章标签： 深度学习 机器学习 人工智能
于 2022-05-15 22:01:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43560804/article/details/124766229
版权

VAE：Variational AutoEncoder，变分自编码器，根据输入的数据的分布，类型，来模拟生成类似于输入数据的数据生成模型。它是从观测数据中分离出独立的隐藏因子。与GAN类似，均为生成模型。

一、以往工作的问题：

1、概念变量通常是有联系的（因果关系）；

2、无监督学习不能保证学习到的表征是可识别的（2019谷歌&#x

最低0.47元/天 解锁文章
Learning Neural Causal Models from Unknown Interventions
羊城迷鹿的博客
09-14 492
研究问题 传统的结构学习方法只用到了观测数据，这篇论文试图在学习时利用干预的信息，并且这种信息可以是未知的，从而可以同时应用于观测和干预数据。 背景动机 观测数据是在没有干预的情况下从分布中取样的，它只包含关于潜在因果图的有限信息，因此结构学习方法通常只能识别到马尔可夫等价类的因果图 为了从观测数据中识别出真实的因果图，要么需要对数据生成的过程做一些假设，比如说线性非高斯数据；要么引入除观测数据的额外信息，比如干预 干预数据可分为以下几种，论文主要针对软干预进行研究： 无干预：仅有观察数据 硬/完美干
Relating Graph Neural Networks to Structural Causal Models
羊城迷鹿的博客
10-04 1523
研究问题 论文从第一性原理出发推导了GNN和SCM之间的理论联系，并基于GNN定义了一种新的神经因果模型类 背景知识 变分推断 假设X为观察到的变量，Z为隐藏变量，变分推断的目标即后验分布p(Z|X)。首先需要提出一族关于隐藏变量的近似概率分布Q，从这一族分布中找到一个与真实的后验分布的KL Divergence最小的分布，即 q∗(Z)=arg⁡min⁡q∈QKL(q(Z)∥p(Z∣X))q^{*}(Z)=\arg \min _{q \in \mathcal{Q}} \mathrm{KL}(q(\ma
CausalVAE: Disentangled Representation Learning via Neural Structural Causal Models
CRDarwin的博客
07-18 2978
简介 causal模块理解 作者在论文中也讲到，这部分的思想主要就是借鉴Shohei Shimizu, Patrik O Hoyer.A linear non-gaussian acyclic model for causal discovery, 2006.这篇文章，这个模型简称：线性非高斯无环模型(LiNGAM)，是因果关系里面比较成熟的方法了。 编码的e size为[64,16] z的size为[64，4，4] 标签经过mask后的size为[64，4，1] 参考资料 https://zhuanla
论文分享CausalVAE: Disentangled Representation Learning via Neural Structural Causal Models
qq_53536373的博客
06-14 1664
【AI Drive】CVPR 2021 | CausalVAE：引入因果结构的解耦表征学习_哔哩哔哩_bilibili 目标1 学习到的表征 是具有唯一性的 ，是可以被识别的 根据真实情况设置，代表真实的物理情况，引入结构因果模型，为了表征可识别 引入监督信号 2 在因果表征中实现 do operation 什么是 do operation 对隐表征能进行干预的时候，因果效应可以传递到子节点 通过干预可以让模型生成一些反事实的图片 3 在现实场景中 因果图 不一定是直接given的 让 模型自动
CausalVAE
qq_37246721的博客
05-28 1508
题目：CausalVAE: Disentangled Representation Learning via Neural Structural Causal Models（通过结构因果模型实现接纠缠表征学习） 作者：Mengyue Yang 一、研究动机 1.目标概念往往是有因果关联的 2.无监督过程不能保证习得的表征能被识别 二、研究目标 1.习得解纠缠表征 2.实现do操作（干预）和反事实 3.自动习得因果图 三、技术方法 1.通过VAE实现因果解纠缠 （1）Transforming Indepe
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6232
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
Beta-VAE背景原理及解耦机制分析
最新发布
sjtu_wyy的博客
04-26 826
Beta-VAE的代码和标准VAE基本一致，除了增加一个β系数，但是其对KL散度的分解和潜在空间的理解思想值得学习和思考，具体代码可以参考VAE博客内容。
NeurIPS2022｜基于解耦因果子结构学习的去偏差图神经网络
AITIME_HY的博客
10-27 741
题目： 基于解耦因果子结构学习的去偏差图神经网络论文链接：http://shichuan.org/doc/140.pdf代码和数据: https://github.com/BUPT-GAMMA/DisC近日，北邮GAMMA Lab和Mila合作的论文“Debiasing Graph Neural Networks via Learning Disentangled Causal Substruct...
Causal_inference_project
03-12
Causal_inference_project
NeurIPS 2022 | 基于解耦因果子结构学习的去偏差图神经网络
Paper weekly
10-10 1570
©作者 |范少华单位| 北京邮电大学博士生来源| 北邮GAMMA Lab论文标题：Debiasing Graph Neural Networks via Learning Disentangled Causal Substructure论文链接：http://shichuan.org/doc/140.pdf代码和数据：https://github.com/BUPT-GAMMA/DisC近日，...
《因果学习周刊》第2期：因果表征学习
AI_Conf的博客
10-20 1313
关于周刊 因果学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写了第2期《因果学习周刊》。 本期周刊将主要讨论因果表征学习的相关研究。传统的因果发现通常是直接从结构化变量数据出发，研究变量之间的因果关系，但在实际应用中，大量的数据都是非结构化的，例如图片、文本等等；并且，传统的因果发现方法在可扩展性上有较大的局限性，无法处理变量维数较高的情况。因此，传统的因果发现方法在许多场景下无法直接应用。而近年来，随着深度学习的
人脸识别测试图片_人脸识别或将到达瓶颈，有监督的聚类算法探索新思路
weixin_39551554的博客
12-15 513
近年来随着模型越来越深，标注数据越来越难增加，人脸识别可能遇到瓶颈。本文提出一种有监督的Metric用于人脸聚类，来部分解决无标注数据内部结构复杂、依赖特定Metric、缺乏Outlier控制，以及时间复杂度等问题。本文来自MMLab香港中文大学-商汤科技联合实验室。人脸识别也许是最成功也最先到达瓶颈的深度学习应用。在Go Deeper, MoreData，Higher Performa...
因果推断7--深度因果模型综述（个人笔记）
as472780551的博客
02-19 1万+
因果关系概念在人类认知中起着重要的作用。在过去的几十年里，因果推理在许多领域得到了很好的发展，如计算机科学、医学、经济学和其他工业应用。随着深度学习的发展，它越来越多地应用于对反事实数据的因果推断。通常，深度因果模型将协变量的特征映射到表示空间，然后设计各种目标函数来无偏估计反事实数据。与现有机器学习中因果模型的研究不同，本文主要对深层因果模型进行了概述，其核心贡献如下:1)总结了多剂量治疗和连续剂量治疗下普遍采用的相关指标;2)我们从发展时间轴和方法分类角度对深层因果模型进行了全面概述。
解耦只是一个巧合？
Jie Qiao的专栏
09-08 573
本文分享一篇在IJCAI2023看到的文章：Overlooked Implications of the Reconstruction Loss for VAE DisentanglementLrec​xxLreg​xLVAE​xx​Eqϕ​z∣x​logpθ​x∣z−DKL​qϕ​z∣x∥pθ​zLrec​xxLreg​x​。
Ruyi：图森未来推出的图生视频大模型，支持多分辨率、多时长视频生成，具备运动幅度和镜头控制等功能
士多啤梨先生の博客
12-17 940
Ruyi是图森未来推出的图生视频大模型，专为消费级显卡设计，支持多分辨率、多时长视频生成，具备首帧、首尾帧控制、运动幅度控制和镜头控制等特性。Ruyi基于DiT架构，能够降低动漫和游戏内容的开发周期和成本，是ACG爱好者和创作者的理想工具。
TowardsDataScience 博客中文翻译 2020（六百四十三）
龙哥盟
10-10 1644
蒙特卡洛，实际上是世界著名的赌场的名字，位于摩纳哥城邦(也叫公国)的同名区，在世界著名的法国里维埃拉。事实证明，赌场启发了著名科学家的思维，设计出一种有趣的数学技术，用于解决统计、数值计算和系统模拟中的复杂问题。维基百科这项技术最早也是最著名的应用之一是在曼哈顿计划期间，当时高浓缩铀的链式反应动力学向科学家们展示了一个难以想象的复杂理论计算。即使是像约翰·冯·诺依曼、斯坦尼斯劳·乌拉姆、尼古拉斯·大都会这样的天才头脑也无法用传统的方式解决它。
FactorVAE
林小川的博客
09-26 3788
论文：https://arxiv.org/pdf/1802.05983.pdf 摘要： 论文阐述了非监督学习在变量的独立因子中生成数据的表示（学习）的解耦问题（disentangled representations），提出FactorVAE算法，算法通过激励表示的分布，使之成为因式，在整个维度中独立。论文展示了FactorVAE在解耦(disentanglement)和重建(reconstr...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值