因果推断
文章平均质量分 81
羊城迷鹿
你相信魔法吗?
展开
-
Relating Graph Neural Networks to Structural Causal Models
研究问题论文从第一性原理出发推导了GNN和SCM之间的理论联系,并基于GNN定义了一种新的神经因果模型类背景知识变分推断假设X为观察到的变量,Z为隐藏变量,变分推断的目标即后验分布p(Z|X)。首先需要提出一族关于隐藏变量的近似概率分布Q,从这一族分布中找到一个与真实的后验分布的KL Divergence最小的分布,即q∗(Z)=argminq∈QKL(q(Z)∥p(Z∣X))q^{*}(Z)=\arg \min _{q \in \mathcal{Q}} \mathrm{KL}(q(\ma原创 2021-10-04 16:28:44 · 1292 阅读 · 0 评论 -
Generative Causal Explanations for Graph Neural Networks
研究问题利用Granger因果机制来提升GNN的可解释性背景动机之前的大多数方法如XGNN和PGM-Explainer都是针对实例(单个节点/边/图)做局部解释的,没有办法获取到全局信息PGExplainer可以通过使用MLP同时解释多个实例,但它需要知道模型学出来的节点嵌入,并且需要模型具有显式的motif结构论文希望提出一种可以学习全局信息并且不受节点嵌入和motif结构影响的解释模型,一个解释指的是和做出预测最相关的子图模型思想主要利用了格兰格因果思想,在时间预测领域,假设xt=∑k原创 2021-09-15 15:30:57 · 1195 阅读 · 0 评论 -
Using a General Prior Knowledge Graph to Improve Data-Driven Causal Network Learning
研究问题论文提出了一种Kg2Causal的方法,用于使用知识图谱作为数据驱动的因果网络结构学习的先验,并对原始观测数据集和加入干预之后的观测数据集都能起到作用。背景动机标准的因果网络推理方法使用无信息的先验,由于较大的潜在网络空间以及马尔科夫等价类的存在,这可能导致学习出错误的关系或关系方向。在因果模型的应用领域如医学,有大量的先验知识是可以被应用的模型思想论文使用了一种基于分数的启发式禁忌搜索算法,但是在其中加入了来自知识图谱的额外的先验信息,并在五个真实数据集和两个合成数据集上分别验证了原创 2021-09-14 15:12:33 · 358 阅读 · 1 评论 -
Causal Discovery in Knowledge Graphs by Exploiting Asymmetric Properties of Non-Gaussian Distributio
研究问题在知识图谱中发现变量之间的因果序,将知识图谱上的矩阵分解和基于矩阵的因果发现算法做了一个结合背景动机知识图谱上一些三元组的存在会对另一些三元组的存在产生影响,这种统计依赖性为因果发现提供了可能。论文特别说明假设不存在混杂因素,所有变量都被观测到了因果发现有助于提升推理的可解释性其他在知识图谱上做因果推断的算法需要一些领域知识,本文算法不需要模型思想第一步是使用TuckER算法对知识图谱上的邻接张量做矩阵分解,得到核心张量;然后对核心张量经过投影和维度变换得到一个数据矩阵;然后验证数原创 2021-09-14 15:11:21 · 627 阅读 · 0 评论 -
A Graph Autoencoder Approach to Causal Structure Learning
研究问题这是华为诺亚方舟实验室的一篇文章,提出了一种基于梯度的图自编码器框架,可以有效地从数据中学习因果关系,并能处理非线性结构方程和向量形式变量符号定义对于因果图,假设其d个节点的值表示为长为l的向量,数据基于加性噪音模型生成,即求解目标可以表示为对于线性SEM,有对于非线性SEM,有对于更复杂的SEM,有这里的g1、g2均为MLP模型框架将上面包含g1、g2的复杂方法拆解成以下形式模型示意图如下和经典的DAG-GNN相比,DAG-GNN假设,本质上是用Z生成X,而本文原创 2021-09-14 15:09:44 · 492 阅读 · 0 评论 -
Masked Gradient-Based Causal Structure Learning
研究问题将传统的SEM方程推广到增广形式,并从生成的模拟数据中学习因果图背景动机随机控制变量实验可以有效地发现因果结构,但在实际中往往不可行,因此现有方法一般专注于从数据中学习因果结构基于约束的方法首先学习无向图,然后根据条件概率准则判断出边的方向,这种方法可以识别出因果图的马尔科夫等价类,但是对无向图的精度有较高的要求;基于分数的方法通过预定义的分数函数评估因果图的质量,然后搜索具有最优分数的图,一般可以看成是一个组合优化问题通过将无环约束转换为一个光滑的表征,基于分数的组合优化问题可以转换为原创 2021-09-14 11:29:08 · 626 阅读 · 1 评论 -
Learning Neural Causal Models from Unknown Interventions
研究问题传统的结构学习方法只用到了观测数据,这篇论文试图在学习时利用干预的信息,并且这种信息可以是未知的,从而可以同时应用于观测和干预数据。背景动机观测数据是在没有干预的情况下从分布中取样的,它只包含关于潜在因果图的有限信息,因此结构学习方法通常只能识别到马尔可夫等价类的因果图为了从观测数据中识别出真实的因果图,要么需要对数据生成的过程做一些假设,比如说线性非高斯数据;要么引入除观测数据的额外信息,比如干预干预数据可分为以下几种,论文主要针对软干预进行研究:无干预:仅有观察数据硬/完美干原创 2021-09-14 11:18:39 · 392 阅读 · 3 评论 -
GRADIENT-BASED NEURAL DAG LEARNING
研究问题提出了一种基于梯度的DAG的学习算法背景动机因果图最好的学习方式是通过干预,但干预往往是难以获得的,替代方式是从观察数据中识别出来原始的NOTEARS方法只能处理线性关系,论文使用神经网络推广到非线性关系之前基于连续约束优化的DAG方法没有与传统的启发式贪婪算法作比较,论文补充了这一部分实验模型思想对每个变量XjX_jXj,学习一个有L个隐藏层的全连接神经网络,表示为对第j个神经网络,其输入为将原始向量X的j分量全部变为0之后得到的,其输出为,也就是XjX_jXj对应的分布族原创 2021-09-14 11:16:37 · 479 阅读 · 0 评论 -
Learning Sparse Nonparametric DAGs
研究问题提出了一个从数据中学习稀疏非参数有向无环图的通用框架,可以应用于一般的非线性模型背景动机现在计算DAG的算法大多是高度专业和特异化的,在选取方法时要经过大量实验,因此需要有一个通用框架之前基于凸优化的DAG求解框架是针对线性数据,这里推广到非线性数据符号定义非线性SEM方程对于由d个随机向量组成的随机矩阵,假设其对应的有向无环图为,存在函数和,使得注意并不依赖于如果k不是j的父节点整体的求解目标为:图的唯一性在有些情况下,根据X可以求解出多组可能的G,为了获得对原创 2021-09-14 11:15:16 · 553 阅读 · 0 评论 -
Causal Inference in Time Series via Supervised Learning
研究问题提出了一种用分类器替代回归模型的监督学习框架,可以根据时序数据做因果推理背景动机从时间序列数据中提取因果关系的方法一般基于格兰格因果,即使用回归模型判断增加X的历史值是否对预测Y的未来值有显著影响。但这要求模型要充分反映数据的特点,这种基于模型的方法可能会识别错误的因果方向。论文试图提出一个不需要对数据有深入理解也能做因果推断的框架模型思想训练一个三分类器来识别数据中的因果关系,要预测的标签为(X→Y , X←Y , No Causation)。除此之外,论文通过计算不同分布之间的原创 2021-09-14 10:33:42 · 348 阅读 · 0 评论 -
Scalable Causal Graph Learning through a Deep Neural Network
研究问题把低秩分解和神经网络相结合以计算因果图,对抗噪音和可伸缩性问题背景动机在因果推断领域,因果图一般是完全未知或者部分未知的,发现这些未知关系面临着以下几个难点:系统中未知和复杂的非线性关系数据集中的噪音数量众多的节点带来的可扩展性问题论文认为时间序列中的非线性可以分为单变量和多变量这两个来源,任意因果图可以表示成这两个来源的结合模型思想提出了Scalable Causal Graph Learning**(SCGL)**模型,可以学习每一个节点对之间的因果关系,其将非线性原创 2021-09-14 10:30:43 · 405 阅读 · 0 评论 -
Multivariate Time Series Forecasting with Transfer Entropy Graph
研究问题通过把传递熵方法与图神经网络相结合,将因果推断与时序预测相结合背景动机目前大多数预测方法假设一个单一变量的预测值会受所有其他变量影响,这忽视了变量之间的因果关系传递熵方法与格兰格因果方法等价,但是将它从线性因果推广到了非线性模型思想利用传递熵来提取时间序列间的因果关系并构造TE图,利用CNN来从时间序列中提取特征,结果作为TE图的节点特征。符号定义传递熵给定变量X,其信息熵定义为:条件熵定义如下,其含义为在Y已知的情况下X的信息量:从Y到X的传递熵定义如下,其中原创 2021-09-16 15:10:06 · 538 阅读 · 2 评论 -
Neural Granger Causality for Nonlinear Time Series
研究问题分别使用MLP和RNN网络,将格兰格因果检验扩展到非线性领域背景动机格兰杰因果关系量化了一个时间序列的历史数值对另一个时间序列的预测程度。大多数格兰格因果检验假设线性时间序列动力学,并使用基于VAR方法,这无法检验非线性依赖问题。现存检验非线性依赖的方法一般使用加性模型,这可能会遗漏预测因子之间重要的非线性交互作用。模型思想使用MLP和LSTM衡量输入序列的滞后对输出序列的影响对输入的输出权重进行稀疏诱导惩罚,从而选择没有非线性格兰杰效应的时间序列符号定义线性假设假原创 2021-09-13 15:32:49 · 739 阅读 · 0 评论 -
Structural Autoencoders Improve Representations for Generation and Transfer
研究问题在没有因果图表示的情况下使用自编码器来近似结构因果模型,以改进学习到的表示背景动机深度学习一般是针对某个特定的任务数据集,这样学习到的特征缺乏可扩展性,不易应用到现实场景下作者希望能够与因果推断结合,无监督地学习出对迁移学习最有效的表示结构模型思想提出了结构自编码器SAE模型,其中编码器采用自注意力机制以学习观测变量与隐藏变量的对应关系,解码器负责模拟一个结构因果模型以学习导致数据变化的潜在因素符号定义图因果模型的计算公式为Si:=fi(PAi,Ui),(i=1,…,n)S_{i原创 2021-09-13 15:31:57 · 161 阅读 · 0 评论 -
Time Series Deconfounder: Estimating Treatment Effects over Time in the Presence of Hidden Confounde
研究问题医学领域的一个问题,就是在存在复杂隐藏混杂因素的情况下估计真实的治疗效果,通过同时考虑患者个人信息和治疗信息,可以使得个性化诊疗成为可能背景动机从纵向观察数据中估计治疗效果的现有方法假设没有隐藏的混杂因素,这一假设在实践中是不可检验的,如果不成立,将导致有偏见的估计。(比如估计化疗对患者癌症进展的影响时不考虑对耐药性和毒性水平的依赖性)在静态因果推断环境下,可以对观察数据中隐藏混杂因素的存在所引入的偏差进行解卷积调整纵向背景下隐藏混杂因素的估计明显比静态背景下更复杂,这不仅是因为隐藏混杂原创 2021-09-13 11:15:17 · 428 阅读 · 0 评论 -
因果推断知识点总结
因果关系从与相关关系对比的角度来看, 因果关系严格区分了“原因”变量和“结果” 变量,在揭示事物发生机制和指导干预行为等方面有相关关系不能替代的重要作用。现有因果关系的研究集中在因果推断及因果性学习两个方面。因果推断VS因果性学习因果推断的目标是发现变量/事物背后的因果关系。随机控制实验是发现因果关系的传统方法。由于实验技术局限和实验耗费代价巨大等原因,越来越多的因果推断领域学者希望通过观察数据推断变量之间的因果关系,已成为当前因果推断领域的研究热点。在基于观察数据的因果推断领域研究方面的代表性进展包原创 2021-04-12 11:17:48 · 7427 阅读 · 1 评论 -
论文阅读:《Inferring causation from time series in Earth system sciences》
研究背景现代科学研究的基本套路是观察加实验,在不同的受控条件下干扰目标系统但是在一些复杂的系统比如气候系统中,做控制实验是非常困难的,因此就需要尝试从观测数据中提取有用的因果信息因果推断方法旨在发现和量化系统的因果相互依赖关系因果可分成两类,一类是type causality ,另一类是actual causality。第一类是由因推果(向后看),是一种干预思维,改变因的量看会不会改变果的量;第二类是由果推因(向前看),是一种反事实思维,直接假设因是另一件事情或者因没有发生,看看结果会不会改变三原创 2020-09-28 17:28:05 · 2395 阅读 · 2 评论 -
Quantifying causality in data science with quasi-experiments
背景动机现有的机器学习方法一般捕捉的是相关性,但因果关系对做出决策更为重要传统机器学习方法无法将一些未观察到的特征纳入考虑准实验方法在经济学领域广泛地应用于因果推断,但尚未扩展到其他领域观测实验中的混杂和碰撞因子混杂因子是指在估计x对y的因果关系时,对y或者同时对xy会产生影响的变量,许多估计因果关系的方法都需要假设所有的混杂因子都已经得到观察和解释,但主要的挑战在于可能无法将所有的混杂因子纳入考虑碰撞因子指的是同时受x和y影响的变量,做因果估计时需要确保被控制的变量不是碰撞因子结构因原创 2021-04-11 16:44:30 · 514 阅读 · 0 评论 -
Towards Causal Representation Learning
背景动机和自然智能相比,机器智能不擅长解决不同分布的新问题,主要是机器学习常常会忽略一些动物们常常使用的相关信息鲁棒性:计算机视觉领域通过数据增强来模拟分布变化,但这还不够,使用因果模型可以观察到统计相关性,并允许通过干预来模拟分布变化学习可重用机制:更少的例子,更多知识,并能在新环境中应用因果建模层次不同模型微分方程是对物理系统的全面描述,可以从中直观解读因果结构,查看一个变量如何被其他变量所影响,同样可以从中推断干预的后果统计模型是一种粗糙的描述,无法预测干预的效果,但可以从数据中学原创 2021-04-11 16:50:59 · 2182 阅读 · 2 评论