论文
文章平均质量分 81
羊城迷鹿
你相信魔法吗?
展开
-
Reasoning Through Memorization: Nearest Neighbor Knowledge Graph Embeddings论文阅读
扩展的方式是加入所谓的special tokens,为了让special tokens有明确的语义,还需要加入以下的预训练任务。看到这里我才理解整个KNN算法,给定一个最近邻居k,是在知识库中筛选出k个离给定嵌入表示最近的实体,然后用距离表示它们的概率,并与另一种方式计算出来的概率加权。知识库中以(k,v)对的形式存储实体与嵌入的关系,其中k是基于描述或三元组的嵌入,v是对应实体的名称,论文使用开源的FAISS来执行高维空间的检索算法。从包含语义信息的实体描述和包含结构信息的实体三元组两方面来构建知识库。原创 2023-01-27 18:16:12 · 799 阅读 · 0 评论 -
I Know What You Do Not Know: Knowledge Graph Embedding via Co-distillation Learning
这里可能是为了强调要把target entity预测对,损失函数分为两部分,前半部分是target,后面是非target,由于KL散度要处理的是分布,因此把target由标量转为向量如下图所示。论文以类似的提示词方式计算两个方向上的邻居嵌入并求和,不过反正最后是相加,所以其实没必要分开写。以一种递归的模式,上述基于三元组的重建过程可以推广到基于邻居子图的重建。传统的蒸馏学习中,用t表示老师,s表示学生,损失函数如下。是关系相关的提示词,会被加入词表中,下标对应不同的位置。共蒸馏确实利用了两个模型的互补性。原创 2022-10-27 13:54:20 · 485 阅读 · 0 评论 -
Inductive Entity Representations from Text via Link Prediction
定义一个带实体描述的知识图谱为G=(E,R,T,D)G=(E,R,T,D),其中一个三元组记做(ei,rj,ek)(ei,rj,ek),对实体eie_iei的文本描述为dei=(w1,…,wn)∈Ddei=(w1,…,wn)∈D链路预测的目标是让正样本的得分高于负样本Bert对文本表示进行编码,经过投影矩阵得到实体表示。原创 2022-10-17 16:48:23 · 762 阅读 · 0 评论 -
Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion
不可见实体实验,其中First Probing Task指的是测试集中只包含训练时没见过的实体,Second Probing Task指的是从训练集中随机删除实体,Third Probing Task指的是测试集中只保留训练时见过的实体。孪生神经网络的用途是显而易见的,就是判断两个相似的输入是否是相同的,比如人脸或者是签名识别等等。孪生模型还有两个变种,一种是让两个网络不共享权重甚至完全是不同结构的网络,称之为伪孪生神经网络,主要用来处理输入和输出差距较大的情况,比如说判断文章的标题和内容是否匹配。原创 2022-10-14 10:26:34 · 548 阅读 · 3 评论 -
Multi-Task Learning for Knowledge Graph Completion with Pre-trained Language Models
其实到这里就能看出来了,这篇文章做的并不是纯粹的多任务预测,因为不同任务的输入是不一样的,这里的输入就是。其实就是拉开正样本和负样本的分差,增强模型的判别能力。做链路预测时还是要把h+r+t作为输入并打分。引入关系预测和相关性排序这两个新任务。,将其名称和描述拼接,例如对于。以多任务形式训练KGBERT。为负采样结果,损失函数如下。为分类权重,损失函数如下。为打分权重,损失函数如下。对应的隐藏向量的表示,原创 2022-10-03 18:57:14 · 188 阅读 · 0 评论 -
KG-BERT: BERT for Knowledge Graph Completion
将三元组的名字和描述拼接后得到完整的句子,送入bert得到对整个三元组的表示,用这个表示去执行三元组分类任务或关系预测以微调bert。一个比较有意思的实验是,在较小的训练集比重下,也能得到很好的结果。第一篇使用预训练语言模型做知识图谱补全的论文。原创 2022-10-02 16:51:17 · 320 阅读 · 0 评论 -
Rethinking Graph Convolutional Networks in Knowledge Graph Completion
知识图谱表示为K={(ei,rj,ek)}⊂E×R×EK={(ei,rj,ek)}⊂E×R×E,可以由一个三阶邻接张量X∈{0,1}∣E∣×∣R∣×∣E∣X∈{0,1}∣E∣×∣R∣×∣E∣唯一确定给定三元组(hi,rj,tk)∈E×R×E(hi,rj,tk)∈E×R×E。原创 2022-09-21 20:07:36 · 902 阅读 · 0 评论 -
IJCAI22:Language Models as Knowledge Embeddings
虽然说是对比学习,但感觉对正负样本对的定义有点奇怪,其实还是负采样,跟之前的方法没有本质区别,最大的创新点是把头实体加关系、以及尾实体分别用文本表示了看了一下github上放出来的代码,运行时间有点吓人,跑一次模型需要两天以上。原创 2022-09-16 21:15:54 · 966 阅读 · 0 评论 -
A Contrastive Learning Approach for Hierarchy Text Classification源码阅读
A Contrastive Learning Approach for Hierarchy Text Classification原创 2022-08-15 18:19:40 · 289 阅读 · 0 评论 -
LaTeX修改表格宽度的两个方案
修改某列主要适用于某一列太宽或者太窄的情况原来是:\begin{tabular}{|c|c|c|c|c|c|c|c|c|c|}想把第一列改宽,修改为:\begin{tabular}{|p{1.7cm}<{\centering}|c|c|c|c|c|c|c|c|c|}整体修改通过调整内部边距对表格整体进行修改原来是:\begin{table}[!t] \centering 默认内边距是6,改成4之后表格更加紧凑:\begin{table}[!t] \setlength\ta原创 2022-01-19 14:26:21 · 3936 阅读 · 0 评论 -
Knowledge graph embedding with hierarchical relation structure
研究问题利用知识图谱中关系的层次结构来提升模型的性能背景动机传统方法直接将关系转换为向量表示,没有利用到其中的层次结构信息论文认为知识图谱中的关系有三层层次结构:relation clusters, relations and subrelations。语义上相似的relation如 producerOf和directorOf都描述了某人和电影间的关系,就可以构成relation clusters,从而形成知识共享;subrelations指的是同一relation的不同语义,比如partOf在(原创 2022-01-04 14:22:11 · 1043 阅读 · 4 评论 -
TransRHS: A Representation Learning Method for Knowledge Graphs with Relation Hierarchical Structure
研究问题在学习知识图谱上的嵌入时对关系的层次结构(RHS)进行建模背景动机这里首先要介绍一下2018年的一篇论文《Knowledge graph embedding with hierarchical relation structure》,原创 2021-12-31 20:38:38 · 834 阅读 · 0 评论 -
ParamE: Regarding Neural Network Parameters as Relation Embeddings for Knowledge Graph Completion
研究问题将神经网络的参数视为关系嵌入,增强模型的表达性以及保持可翻译性背景动机原创 2021-12-19 17:30:23 · 911 阅读 · 2 评论 -
Deep Long-Tailed Learning: A Survey
研究问题针对深度长尾学习领域的研究综述背景动机在真实世界中存在着一些长尾分布的情况,即一小部分类别包含了大量的样本,使得模型更加偏向头部类别,对于尾部类别的分类效果较差长尾学习与其他任务之间的区别与联系:类别不均衡学习:长尾学习可以视为类别不均衡学习的一个子任务,其不均衡程度会更加极端,且尾部类别对应的样本一般会非常少少样本学习:少样本学习可以视为长尾学习的一个子任务,其尾部类别对应的样本会极其少域外泛化:长尾学习可以视为域外泛化的一个子任务符号定义假设数据集表示为数学公式:{xi原创 2021-12-19 14:46:11 · 1290 阅读 · 0 评论 -
LightCAKE: A Lightweight Framework for Context-Aware Knowledge Graph Embedding
研究问题提出了一个轻量级的知识图谱嵌入模型框架,可以用有限的参数有效利用实体和关系的上下文信息,并可以直接用来提升仅基于嵌入的老模型的效果背景动机论文首先提出了实体上下文和关系上下文的概念。对于实体上下文,它其实就是现在大多数GNN模型所利用的信息,即一个实体的邻居实体及其相连的边;而关系上下文就是一个给定关系的两个实体端点,这是一个比较新的概念。作者举了一个实体上下文例子,要判断Hillary Clinton和Joe Biden谁是美国总统时,由于Joe Biden的实体上下文有succeeded原创 2021-12-19 14:39:27 · 760 阅读 · 0 评论 -
Contextual Parameter Generation for Knowledge Graph Link Prediction
研究问题提出了一种新的实体和关系交互的方式,即将关系看做是实体的上下文,并直接用关系来为不同的预测任务生成不同的模型参数,用生成的参数将头实体嵌入转换为尾实体嵌入背景动机目前已有的链路预测方法都是通过加性的方法(最常见的就是拼接之后做线性映射)将头实体和关系的嵌入结合后预测尾实体的,论文认为这种简单的交互限制了模型的表达能力,论文模型的结构如下符号定义假设头实体、关系和尾实体的嵌入分别定义为数学公式:es,r,ete_{s}, r, e_{t}es,r,et,实体和关系的嵌入集合分别表示为数原创 2021-12-19 14:29:58 · 334 阅读 · 0 评论 -
Distribution-Balanced Loss for Multi-label Classification in Long-Tailed Datasets
研究问题针对长尾分布的多标签分类问题提出了分布平衡损失函数背景动机为了解决长尾分布的多标签分类问题,传统方法主要采取两步,第一步是用binary crossentropy(BCE)取代softmax loss,第二步是用class-specific re-weighting去平衡不同类的分布,也就是让类的权重和类的数目成反比。但这一方案无法解决label co-occurrence和dominance of negative labels这两个问题。label co-occurrence指的是一张原创 2021-11-28 20:44:11 · 1809 阅读 · 0 评论 -
Neural Methods for Logical Reasoning over Knowledge Graphs
研究问题论文研究了知识图谱上的多跳逻辑查询,使用基于嵌入的神经网络模型去回答包含非的一阶逻辑查询。背景动机推理定义为在已知事实和逻辑规则的基础上去推导出新的知识一阶逻辑(FOL)包括以下几种基本的逻辑操作符:存在(∃)(\exists)(∃)、合取(∧)(\wedge)(∧)、析取(∧)(\wedge)(∧)、非(¬)(\neg)(¬)。但之前的模型只能处理正一阶逻辑(PFOL),即除非之外的逻辑操作符,论文补充了这一点大规模知识图谱的不完整性增加了在上面进行推理的难度符号定义知识图谱表原创 2021-11-28 20:38:13 · 479 阅读 · 0 评论 -
Filling the Gaps: Multivariate Time Series Imputation by Graph Neural Networks
研究问题首次使用GNN去解决多元时间序列插补问题背景动机在真实场景下,时间序列数据通常是不完整的,通过插补方法来对缺失值进行填充是一项必要工作(和时间序列的预测问题相比,插补法不仅可以利用过去的事件信息,也可以利用未来的时间信息)现有方法无法有效捕捉到传感器网络中存在的非线性时间和空间依赖性,也无法充分利用关系信息两个传感器具有空间相似性不意味着物理上接近,而是说它们的数据变化比较相关考虑到图神经网络可用于处理具有关系归纳偏差的序列数据,论文提出了一个称之为GRIN的GNN框架,通过消息传递学原创 2021-11-28 20:41:00 · 1548 阅读 · 0 评论 -
NodePiece: Compositional and Parameter-Efficient Representations of Large Knowledge Graphs
研究问题将自然语言处理的WordPiece技巧迁移到知识图谱中并提出NodePiece,从而用较少的子实体嵌入去建模大规模知识图谱上的实体嵌入,并增强模型的泛化性能。背景动机大规模知识图谱的出现,使得学习所有节点的嵌入变得非常困难NLP领域也面临过此表太大难以对所有词的嵌入建模的问题,采用了WordPiece技巧来解决。它不再把一个词看成一个整体,而是分割成几个子词。比如"loved",“loving”,“loves"这三个单词,其实本身的语义都一样,但是如果我们以单词为单位,那它们就算不一样的词原创 2021-11-06 16:04:41 · 1148 阅读 · 1 评论 -
Explaining Knowledge Graph Embedding via Latent Rule Learning
研究问题将知识图谱嵌入由一步预测转变为多步推理预测,通过向量空间中的相似性解释每一步,提高其可解释性的同时保证预测效果不下降背景动机知识图谱嵌入由于是一步预测出最终结果,缺乏透明度和可解释性一些具有较强可解释性的方法如强化学习是通过多步预测来获得可解释性的,作者因此想将此思想借鉴到知识图谱嵌入领域论文总结了当前对神经网络黑盒模型进行解释的四种方法,论文使用了如下图所示的代理模型+知识蒸馏来生成解释:学习一个self-explanatory的局部代理模型,代替原来的目标模型改变神经网络的输入原创 2021-11-06 16:03:15 · 722 阅读 · 0 评论 -
KGRefiner: Knowledge Graph Refinement for Improving Accuracy of Translational Link Prediction Method
研究问题提出了一种适用于基于翻译的链路预测模型的知识图改进办法,通过在图上引入实体和关系的层次结构信息来提升预测效果背景动机传统的基于翻译的模型比基于神经网络的模型运算速度快得多,而性能下降并不是太多,因此作者想对这些模型做一些改进知识图改进指的是对知识图谱的图结构进行修正(去除错误信息)或提升(增加额外信息)SACN通过将节点属性建模成额外节点来做知识图改进,但这种方法有一些缺陷,首先是它只适用于FB数据集,然后它添加了过多的关系,最后它缺乏可解释性,针对这三个不足,论文做出了对应的改进模原创 2021-11-06 16:01:52 · 182 阅读 · 0 评论 -
InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing Feature Interactions
研究问题在ConvE的基础上提出了InteractE,通过进一步增强关系嵌入与实体嵌入间的交互,提升链路预测任务的效果背景动机ConvE通过将一维的实体和关系嵌入转换为二维并拼接作为卷积操作的输入来增强交互性,这对提升性能有一定效果,但这种简单方法的交互性还不够。符号定义假设实体嵌入和关系嵌入分别表示为es=(a1,…,ad),er=(b1,…,bd)\boldsymbol{e}_{s}=\left(a_{1}, \ldots, a_{d}\right), \boldsymbol{e}_{r原创 2021-10-16 17:38:49 · 1062 阅读 · 6 评论 -
Towards Understanding the Geometry of Knowledge Graph Embeddings
研究问题论文对知识图谱的嵌入进行了一些几何属性的研究,并指出了什么样的几何属性可以获得更好的结果,如何获得这样的几何属性背景动机之前已经有工作对词嵌入的几何属性进行了分析,但知识图谱领域还没有相关的研究知识图谱分为加性、乘性和神经网络模型,不同类型的模型学习到的嵌入应该会有不同的几何属性,并进而导致有不同的表现知识图谱需要使用负采样的方法进行训练,负采样时样本数目也会对几何属性产生影响实验设置模型分类TransE、TransR、STransE为加性模型DistMult、HolE、C原创 2021-10-04 16:34:09 · 164 阅读 · 0 评论 -
A Re-evaluation of Knowledge Graph Completion Methods
研究问题论文指出近年来的几种最佳模型取得的效果提升有一部分来源于评估方式的误差,该指标下即使模型保持输出一个常数也能得到不错的结果,并提出了一种新的评估指标对模型进行了重新评估。论文里的一些观察最近的许多方法都报告了在一个数据集上效果的极大改善,但在另外一个数据集上却没有取得多少改进,如下图所示,以convE为基准,非神经网络模型在WN18数据集上基本能取得不错的进步,神经网络模型在FB数据集上很不错,在WN18数据集上效果反而是下降的论文对最近的一些神经网络模型的三元组得分函数的分布进行了原创 2021-10-04 16:32:23 · 376 阅读 · 0 评论 -
Relating Graph Neural Networks to Structural Causal Models
研究问题论文从第一性原理出发推导了GNN和SCM之间的理论联系,并基于GNN定义了一种新的神经因果模型类背景知识变分推断假设X为观察到的变量,Z为隐藏变量,变分推断的目标即后验分布p(Z|X)。首先需要提出一族关于隐藏变量的近似概率分布Q,从这一族分布中找到一个与真实的后验分布的KL Divergence最小的分布,即q∗(Z)=argminq∈QKL(q(Z)∥p(Z∣X))q^{*}(Z)=\arg \min _{q \in \mathcal{Q}} \mathrm{KL}(q(\ma原创 2021-10-04 16:28:44 · 1342 阅读 · 2 评论 -
Robust Knowledge Graph Completion with Stacked Convolutions and a Student Re-Ranking Network
研究问题创建了稀疏连接的知识图谱数据集,并研究如何在稀疏连接的知识图谱上完成链路预测任务背景动机目前常用的知识图谱补全数据集都是基于稠密连接的假设创建的,比如FB15K数据集创建时就只包含至少有一百条边关联的实体,但这与实际情况不符,限制了模型在实际中的应用现有模型的复杂程度不够,论文对如何堆叠卷积进行了研究现有模型都是直接给出候选实体的分数排名,论文使用Student网络对其进行了Re-rank(知识图谱的稀疏性带来了一些标签噪声,而知识蒸馏有助于提升模型在噪声下的表现)数据集构造论文构原创 2021-09-15 15:37:58 · 450 阅读 · 9 评论 -
Knowledge Embedding Based Graph Convolutional Network
研究问题提出了一种可以充分结合异构的节点信息和边信息,同时学习这两者的嵌入的图卷积网络KE-GCN,并将之前的几种知识图谱CNN纳入一个统一的框架下背景动机传统的图卷积模型一般不关注学习边的嵌入,且无法处理异构的边信息知识图谱领域的大多数嵌入学习方法没有利用到图的结构信息知识图谱领域的图卷积模型虽然同时学习了节点和边的嵌入,但主要精力还是在根据关系嵌入优化实体嵌入,而没有对称的过程模型方法重新解释邻居聚合公式传统GCN对非异构边的邻居聚合公式可以表示为现在引入得分函数f估计每条边原创 2021-09-15 15:36:40 · 1090 阅读 · 0 评论 -
Explainable Link Prediction for Emerging Entities in Knowledge Graphs
研究问题可解释的动态知识图谱链路预测模型,这里的动态指的是实体可以动态添加,即训练时不要求所有实体都存在背景动机传统的嵌入模型不具备显式的可解释性基于路径的模型无法利用嵌入模型所能挖掘到的统计信息一些将二者相结合的模型只能处理static snapshots,即所有实体要在训练时已知而不能动态添加模型方法总体思路Graph Transformer作为编码器归纳式地聚合邻域信息和当前查询关系,使用强化学习方法作为解码器推导推理路径Graph Transformer将实体的邻居原创 2021-09-15 15:33:41 · 218 阅读 · 0 评论 -
Embedding Knowledge Graphs Attentive to Positional and Centrality Qualities
研究问题之前的方法中,实体嵌入只利用了周围邻居的信息,本篇论文试图在知识图谱嵌入的学习过程中引入节点相对于全图的位置和中心性特征背景动机论文中举了这样一个例子,由于e1和e2的邻居基本一样,传统方法很难区分学习二者的嵌入。但是由于e1连接的哈佛大学比e2连接的耶鲁大学的特征向量中心度更高,所以e1比e2的特征向量中心度更高,如果把这个额外的全局信息加进去会有助于区分二者的嵌入。符号定义知识图谱包括实体集合,关系集合,嵌入学习任务定义为函数,其中Structure-based Embed原创 2021-09-15 15:32:48 · 187 阅读 · 0 评论 -
Generative Causal Explanations for Graph Neural Networks
研究问题利用Granger因果机制来提升GNN的可解释性背景动机之前的大多数方法如XGNN和PGM-Explainer都是针对实例(单个节点/边/图)做局部解释的,没有办法获取到全局信息PGExplainer可以通过使用MLP同时解释多个实例,但它需要知道模型学出来的节点嵌入,并且需要模型具有显式的motif结构论文希望提出一种可以学习全局信息并且不受节点嵌入和motif结构影响的解释模型,一个解释指的是和做出预测最相关的子图模型思想主要利用了格兰格因果思想,在时间预测领域,假设xt=∑k原创 2021-09-15 15:30:57 · 1260 阅读 · 0 评论 -
Association Rules Enhanced Knowledge Graph Attention Network
研究问题将规则与知识图嵌入的学习过程相结合,提出了一种同时基于图结构和逻辑规则的注意力机制关联规则挖掘首先论文定义了以下规则:One-to-One Association RulesInference Rule此类规则发现同一头和尾实体的单跳同向关系的相关性:例子:Anti-symmetry Rule此类规则发现同一头和尾实体的单跳反向关系的相关性:例子:N-to-One Association Rules此类规则发现多个三元组间的传递性关联规则挖掘原创 2021-09-15 15:27:50 · 234 阅读 · 0 评论 -
End-to-end Structure-Aware Convolutional Networks for Knowledge Base Completion
研究问题将图网络作为编码器,将Conv-TransE作为解码器,应用于知识图谱补全任务背景动机ConvE模型在做卷积之前对embedding实施了reshape操作,并且没有保留TransE系列模型的可翻译属性ConvE模型没有把知识图谱的连通性纳入考虑模型思想提出了一种端到端的图结构敏感的卷积网络,编码器为WGCN,将节点结构、节点属性、关系类型作为输入;解码器为Conv-TransE,在ConvE的基础上可以保留实体到关系嵌入之间的翻译属性。模型框架总体流程编码器计算出嵌入矩阵原创 2021-09-15 15:26:02 · 1232 阅读 · 1 评论 -
Interaction Embeddings for Prediction and Explanation in Knowledge Graphs
研究问题研究了实体嵌入和关系嵌入之间的交叉交互问题,并试图为三元组提出可依赖的解释背景动机之前的基于嵌入的模型没有把crossover interactions纳入考虑,即从实体到关系的交互和从关系到实体的交互(大部分模型没有考虑这二者的交互,少部分模型只考虑了从关系到实体的交互)论文举了一个例子,假设上图中的实线是已知三元组,虚线是未知三元组,目标是预测。则关系到实体的交互可以定义为“要预测的关系会影响到实体的信息筛选”,也就是预测时选择红色的线而非蓝色的线作为输入信息;而实体到关系的交互原创 2021-09-15 15:24:45 · 463 阅读 · 0 评论 -
embedding entities and relations for learning and inference knowledge base
研究问题提出了一种可以解释NTN和TransE等模型的通用框架,并通过一种双线性计算的实现取得了最佳效果,并且提出了一种从学到的关系嵌入中挖掘关系间逻辑规则的方法背景动机目前还没有一个模型做不同实体嵌入以及关系操作符的选择对预测效果影响的实验现有的用来评估效果的链路预测实验只能间接显示低维嵌入的意义,很难解释在此过程中捕获了什么关系属性传统的规则抽取算法主要靠探索所有可能的搜索路径来查找规则,在知识图谱规模较大时会失效,本文提出基于embedding的方法和知识图谱的规模无关,只和关系的数量有关原创 2021-09-15 15:22:51 · 334 阅读 · 0 评论 -
Using a General Prior Knowledge Graph to Improve Data-Driven Causal Network Learning
研究问题论文提出了一种Kg2Causal的方法,用于使用知识图谱作为数据驱动的因果网络结构学习的先验,并对原始观测数据集和加入干预之后的观测数据集都能起到作用。背景动机标准的因果网络推理方法使用无信息的先验,由于较大的潜在网络空间以及马尔科夫等价类的存在,这可能导致学习出错误的关系或关系方向。在因果模型的应用领域如医学,有大量的先验知识是可以被应用的模型思想论文使用了一种基于分数的启发式禁忌搜索算法,但是在其中加入了来自知识图谱的额外的先验信息,并在五个真实数据集和两个合成数据集上分别验证了原创 2021-09-14 15:12:33 · 371 阅读 · 1 评论 -
Causal Discovery in Knowledge Graphs by Exploiting Asymmetric Properties of Non-Gaussian Distributio
研究问题在知识图谱中发现变量之间的因果序,将知识图谱上的矩阵分解和基于矩阵的因果发现算法做了一个结合背景动机知识图谱上一些三元组的存在会对另一些三元组的存在产生影响,这种统计依赖性为因果发现提供了可能。论文特别说明假设不存在混杂因素,所有变量都被观测到了因果发现有助于提升推理的可解释性其他在知识图谱上做因果推断的算法需要一些领域知识,本文算法不需要模型思想第一步是使用TuckER算法对知识图谱上的邻接张量做矩阵分解,得到核心张量;然后对核心张量经过投影和维度变换得到一个数据矩阵;然后验证数原创 2021-09-14 15:11:21 · 662 阅读 · 0 评论 -
A Graph Autoencoder Approach to Causal Structure Learning
研究问题这是华为诺亚方舟实验室的一篇文章,提出了一种基于梯度的图自编码器框架,可以有效地从数据中学习因果关系,并能处理非线性结构方程和向量形式变量符号定义对于因果图,假设其d个节点的值表示为长为l的向量,数据基于加性噪音模型生成,即求解目标可以表示为对于线性SEM,有对于非线性SEM,有对于更复杂的SEM,有这里的g1、g2均为MLP模型框架将上面包含g1、g2的复杂方法拆解成以下形式模型示意图如下和经典的DAG-GNN相比,DAG-GNN假设,本质上是用Z生成X,而本文原创 2021-09-14 15:09:44 · 525 阅读 · 0 评论 -
Masked Gradient-Based Causal Structure Learning
研究问题将传统的SEM方程推广到增广形式,并从生成的模拟数据中学习因果图背景动机随机控制变量实验可以有效地发现因果结构,但在实际中往往不可行,因此现有方法一般专注于从数据中学习因果结构基于约束的方法首先学习无向图,然后根据条件概率准则判断出边的方向,这种方法可以识别出因果图的马尔科夫等价类,但是对无向图的精度有较高的要求;基于分数的方法通过预定义的分数函数评估因果图的质量,然后搜索具有最优分数的图,一般可以看成是一个组合优化问题通过将无环约束转换为一个光滑的表征,基于分数的组合优化问题可以转换为原创 2021-09-14 11:29:08 · 669 阅读 · 1 评论 -
Learning Neural Causal Models from Unknown Interventions
研究问题传统的结构学习方法只用到了观测数据,这篇论文试图在学习时利用干预的信息,并且这种信息可以是未知的,从而可以同时应用于观测和干预数据。背景动机观测数据是在没有干预的情况下从分布中取样的,它只包含关于潜在因果图的有限信息,因此结构学习方法通常只能识别到马尔可夫等价类的因果图为了从观测数据中识别出真实的因果图,要么需要对数据生成的过程做一些假设,比如说线性非高斯数据;要么引入除观测数据的额外信息,比如干预干预数据可分为以下几种,论文主要针对软干预进行研究:无干预:仅有观察数据硬/完美干原创 2021-09-14 11:18:39 · 402 阅读 · 3 评论