来源:专知
本文为论文介绍,建议阅读5分钟
本论文将因果关系与表示学习的思想结合在一起。因果模型通过描述每个变量受其直接原因影响的机制,提供了对复杂系统的丰富描述。
本论文将因果关系与表示学习的思想结合在一起。因果模型通过描述每个变量受其直接原因影响的机制,提供了对复杂系统的丰富描述。因果模型支持对系统部分进行操作的推理,捕捉各种干预分布,从而有望解决人工智能(AI)的一些开放性挑战,如规划、在变化环境中的知识迁移或对分布变化的鲁棒性。然而,因果模型在AI中更广泛应用的一个关键障碍是需要预先指定相关变量,而这通常不适用于现代AI系统处理的高维、非结构化数据。同时,机器学习(ML)在自动提取此类复杂数据的有用和紧凑表示方面非常成功。因果表示学习(CRL)旨在通过学习具有因果模型语义的潜变量表示,结合ML和因果关系的核心优势。
在本论文中,我们研究并提出了不同CRL设置的新结果。一个核心主题是可识别性的问题:给定无限数据,何时保证满足相同学习目标的表示是等价的?这可以说是CRL的重要先决条件,因为它正式表明了一个学习任务在原则上是否可行。由于学习因果模型——即使没有表示学习成分——是出了名的困难,我们需要在模型类或丰富数据上超越经典的独立同分布(i.i.d.)设置进行额外的假设。对于从i.i.d.数据中进行无监督表示学习,我们开发了独立机制分析,这是一种对映射潜在变量到观察变量的混合函数的约束,已证明可以促进独立潜在变量的可识别性。对于从非独立观测对中学习的多视图设置,我们证明了始终在视图间共享的不变潜在块是可识别的。最后,对于从单节点完美干预产生的非同分布数据集中学习的多环境设置,我们表明潜在变量及其因果图是可识别的。
通过研究和部分描述不同设置下的可识别性,本论文探讨了在没有直接监督的情况下,CRL的可能性和不可能性,从而为其理论基础做出贡献。理想情况下,所发展的见解可以帮助指导数据收集实践,或激发新实用估计方法和算法的设计。