【图神经网络论文整理】（一）—— Causal Attention for Interpretable and Generalizable Graph Classification：CAL

已于 2022-11-21 13:33:58 修改
阅读量2.2k 收藏 9
点赞数 2
分类专栏： 因果推断 图神经网络 文章标签： 神经网络 分类 深度学习 人工智能
于 2022-11-19 16:21:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47256162/article/details/127936965
版权
本文介绍了KDD2022上发表的《Causal Attention for Interpretable and Generalizable Graph Classification》论文，指出图神经网络在图分类中可能依赖于非因果的捷径特征，导致泛化能力下降。作者提出了因果注意力学习（CAL）策略，通过分离因果图和琐碎图，减少混杂因子影响，增强模型的解释性和泛化性能。实验表明CAL在合成数据集和真实数据集上表现出优越效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

  • KDD '22: Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining
  • August 2022
  • Pages 1696–1705
  • 论文地址

本文介绍的论文是中科大王翔教授等人在KDD2022上发表的《Causal Attention for Interpretable and Generalizable Graph Classification》。

作者强调了当前基于注意力和池化的GNN在图分类中的泛化问题，并且提出了一种新的用于图分类的因果注意力学习策略（CAL），使GNN在过滤掉捷径特征的同时利用因果特征，最后在合成数据集和真实数据集上的大量实验证明了CAL的有效性。

🍁 一、背景 🍁

目前大多数图神经网络GNN在图分类这项任务中，遵

了解本专栏 订阅专栏 解锁全文 超级会员免费看
图神经网络论文阅读(三) Inductive Representation Learning on Large Graphs，NIPS2017
qq_36618444的博客
01-14 1235
本文的三位作者均来自斯坦福大学计算机系，他们提出一个通用的归纳框架GraphSAGE（空域卷积）。该框架通过从节点的本地邻居中采样和聚集特征来生成嵌入，并且提出了三种不同的聚合邻居特征的方式，这使得卷积的操作更贴近于直观上的CNN。本模型也可以应用于半监督甚至是无监督的任务。 Model 至于Relative work中涉及到的图embedding方法（随机游走、因子分解机等）就不过多介绍了，直...
[2021最新] 4篇图神经网络综述论文，建议收藏！
weixin_45519842的博客
03-04 6636
本文主要介绍了2021年最新的图神经网络综述，是入坑的最佳材料。图神经网络已经成为深度学习领域最炙手可热的方向之一了，也是各大互联网公司非常欢迎的方向。A Survey o...
因果学习篇(2)-Causal Attention for Vision-Language Tasks（文献阅读）
chenzhiwen1998的博客
03-06 3088
一篇由南洋理工大学和澳大利亚莫纳什大学联合发表自2021年的CVPR顶会上的一篇文献，提出了一种新的注意力机制：因果注意力(CATT)，使用因果推断中的“前门准则”解决训练数据中存在的虚假相关性，刨析了注意力机制在推理过程中的因果原理，在提高模型性能的前提下，加强了模型的可解释性，打开了神经网络的黑匣子，具有非常好的参考意义。
Causal Attention论文详解
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
10-17 7177
Causal Attention论文是一篇因果推断(causal inference)和注意力(attention)结合的一篇文章，主要用在视觉和文本结合的领域，如VQA(Visual Question Answering)视觉问答。 VQA(Visual Question Answering)视觉问答的一个基本流程如下，对输入图进行self-attn编程得到K和V的向量，从文本得到Q的向量进行Attn计算，得到填空的结果(riding)。这个过程可以看成是一个因果推断的过程.
图神经网络论文-A Comprehensive Survey on Graph Neural Networks
忆_恒心的博客
09-20 1536
目录 1、前言： 2、 Abstract: 一、什么是图神经网络 二、有哪些图神经网络 三、图神经网络的应用 3、神经网络常用的缩写 5、论文详情笔记 5.1 什么是图神经网络 5.2 图嵌入和图神经网络的区别 5.3 图卷积网络（GCN） 5.4 GCN方法又可以分为两大类 1、前言： 这部分其实和上一篇学习的论文属于一种概述性的，因此采用初略的阅读，最主要的处理是对论文大致的中文进行梳理，对神经网络常用的缩写进行梳理、以及对于论文的概括。 2、 Abstract: 一、什么
图神经网络相关论文
qq_42393368的博客
11-14 1063
一、《BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification 》 这是一篇图神经网络用于方面级情感分类的文章，其中对GCN的结合比较新奇。 1、基于图的方面级情感分类已经证明有很好的效果，特别是在使用预训练模型的情况下。然而，他们忽略了序列特征，并没有充分利用预训练模型。本文提出BERT4GCN，它结合预训练模型中的语法序列特征，和依存图中的句法知识。它使用BE
【CVPR2022】论文列表与下载——PartThree
TomRen
06-12 4941
【CVPR2022】完整论文列表
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
GNNPapers：关于图神经网络（GNN）的必读论文
02-19
必须阅读的有关GNN的论文 GNN：图神经网络 由周杰，崔干渠，张正彦和白玉石贡献。 图神经网络简介。 人工智能和机器学习，摩根克莱普尔出版社，2020年合成讲座 刘志远周杰 图神经网络：方法与应用综述。 arxiv 2018. 周杰，崔干渠，张正彦，杨成，刘志远，孙茂松。 图神经网络的全面调查。 arxiv 2019. 吴宗汉，潘世瑞，陈凤文，龙国栋，张成启，余飞飞。 图形数据的对抗性和防御性：一项调查。 arxiv 2018. 孙立超，窦颖彤，杨卡尔，王继，余宇飞，李波。 图上的深度学习：调查。 arxiv 2018. 张子伟，崔鹏，朱文武。 关系归纳偏置，深度学习和图网络。 arxiv 2018. Battaglia，Peter W和Hamrick，Jessica B和Bapst，Victor和Sanchez-Gonzalez，Alvaro和Zambaldi，Vinicius
图神经网络（GNN）的一些论文介绍
02-26
图神经网络论文的介绍，包括多种Graph Embedding、GCN、序列方式的处理。
近期必读的8篇 AAAI 2020【图神经网络（GNN）】相关论文.zip
01-14
人工智能领域的顶会AAAI 2020将在2020年2月7日-12日在美国纽约举行。据官方统计消息，AAAI 2020今年共收到的有效论文投稿超过 8800 篇，其中 7737 篇论文进入评审环节，最终收录数量为 1591 篇，接收率 20.6%。开会在即，提前整理了AAAI 2020图神经网络(GNN)相关的接收论文，让大家先睹为快——跨模态、部分标签学习、交通流预测、少样本学习、贝叶斯图神经网络。
图神经网络相关论文整理
weixin_44525145的博客
03-04 591
图神经网络近期论文整理
图神经网络综述论文
qq_39091546的博客
10-20 386
图神经网络相关综述论文推荐 1.1 Relational inductive biases, deep learning, and graph networks 1.2 论文链接 论文链接 视频链接 论文翻译 2.1 Graph Neural Networks: A Review of Methods and Applications 2.2 论文链接 论文链接 视频链接 论文翻译 ...
图神经网络-论文精读-“A Gentle Introduction to Graph Neural Networks“
qq_43686057的博客
04-07 2191
1、文章主要工作：解释了现代图神经网络 ①什么样的数据最自然的表述为图表 ②图表与其他类型数据的不同之处，以及在使用图表时必须做出的一些专门选择 ③构建GNN：从简单的实现到最先进的GNN模型 ④构建GNN平台，修改不同参数从而得到不同的结果，以了解GNN组件的作用 2、什么是图 图表示实体（节点）集合之间的关系（边） 为了进一步描述每个节点、边或整个图，我们可以将信息存储在图中的每一个片段中。 还可以通过将方向性与边（有向、无向）相关联来专门化图 3、什么样的数据最自
【AIGC】因果注意力（Causal Attention）原理及其代码实现
最新发布
SimpleLearning
08-15 4738
因果注意力（Causal Attention）是一种自注意力机制，广泛应用于自回归模型中，尤其是在自然语言处理和时间序列预测等任务中。它的核心思想是在生成每个时间步的输出时，只关注当前时间步及之前的时间步，确保生成过程的因果性，从而避免模型在预测时依赖未来的信息。
图神经网络（GNN）最新顶会论文汇总【附源码】
学姐带你玩AI的博客
09-22 6530
得益于强大的建模和分析能力，在社交网络分析、推荐系统、知识图谱、文本分析、等诸多领域得到了广泛的应用，目前已成为了人工智能领域的热门研究方向。在今年的各大顶会获奖论文中，图神经网络相关的论文数量也是意料之中的可观，所以建议有想法发paper的同学抓紧时间。为了帮大家快速找到idea，这次我精选了近两年图神经网络的各大顶会好文，需要论文以及源代码的同学看文末。
从零开始实现大语言模型（六）：因果注意力机制
RuizhiHe
07-13 2645
因果注意力机制(causal attention)是一种特殊的自注意力机制，其在计算context向量$z_i$之前，会使用掩码(mask)屏蔽$x_{i+1}, x_{i+2}, \cdots, x_n$，使注意力权重$\alpha_{i,i+1}, \alpha_{i,i+2}, \cdots, \alpha_{in}$全都等于0，生成的context向量$z_i$只与$x_1, x_2, \cdots, x_i$相关，模型只根据历史信息预测下一个token。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

海洋 之心

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值