#今日论文推荐# 【ICML2022】深入探讨置换敏感图神经网络

最新推荐文章于 2024-10-02 01:49:36 发布
最新推荐文章于 2024-10-02 01:49:36 发布
阅读量191 收藏
点赞数
分类专栏： 深度学习 文章标签： transformer 深度学习 计算机视觉
原文链接：https://www.aminer.cn/research_report/629d73837cb68b460fcb5b7c?download=false
版权

#今日论文推荐# 【ICML2022】深入探讨置换敏感图神经网络

邻接矩阵排列的不变性，即图同构，是图神经网络(GNNs)的首要要求。通常，聚合消息时，节点排列上的不变操作可以满足这个前提条件。但是，这种不变性可能会忽略相邻节点之间的关系，从而影响GNN的表达能力。在这项工作中，我们通过排列组设计了一种高效的排列敏感聚合机制，捕获相邻节点之间的成对关联。我们证明了我们的方法严格地比二维Weisfeiler-Lehman (2-WL)图同构检验更强大，且不低于3-WL检验。此外，我们证明了我们的方法实现了线性抽样复杂度。在多个合成数据集和真实数据集上的综合实验证明了我们的模型的优越性。

论文题目：Going Deeper into Permutation-Sensitive Graph Neural Networks
详细解读：https://www.aminer.cn/research_report/629d73837cb68b460fcb5b7c?download=falseicon-default.png?t=M4ADhttps://www.aminer.cn/research_report/629d73837cb68b460fcb5b7c?download=false
AMiner链接：https://www.aminer.cn/?f=cs

wwwsxn
关注
专栏目录
图神经网络 —— 排列不变函数
CSDN 精品推荐
11-28 223
不具备排列不变性质的函数：RNN（LSTM）、做差等，结果与输入顺序有关。定义：参数的输入顺序不会影响输出的值，如果。不变函数：均值、求和、最大池化等。函数具有排列不变的性质。
大语言模型应用指南：从人工智能的起源到大语言模型
AI天才研究院
06-27 972
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
ICML2022 | GNNRank: 基于有向图神经网络从两两比较中学习全局排序
Paper weekly
10-11 588
©作者 |庄双双来源| MIND Laboratory论文标题：GNNRank: Learning Global Rankings from Pairwise Comparisons via Directed Graph Neural Networks论文链接：https://arxiv.org/pdf/2202.00211.pdf代码链接：https://github.com/SherylH...
#今日论文推荐# ICML 2022 | 基于随机注意力机制的可解释可泛化图学习
w1hsxn的博客
08-11 176
图随机注意（GSAT）是一种新颖的注意力机制，用于构建可解释的图学习模型。
机器学习基础--math（8）--排列不变性
wydbyxr的博客
06-20 3615
排列不变性（permutation invariance） 　　指输入的顺序改变不会影响输出的值。 　　例如，f()就有排列不变性 ：
图神经网络基础学习
Chris Blog
03-14 1079
注：本篇博客公式格式没有经过认真编辑，欢迎去我的博客：http://www.pinkman.tech/index.php/tech/2021/gnn-basic/ 或者知乎：https://zhuanlan.zhihu.com/p/356872702 获得更好的阅读体验。 本篇文章旨在通过最直白的语言解释一些GNN中的基础知识，涉及到的内容包括： GNN在现实中的应用 研究图问题的两个重要原则 GNN是如何学习的 GNN中信息如何传递？什么是卷积GNN，注意力GNN和信息传递GNN？ 关于GNN的一些.
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5397
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
细粒度IP定位参文27（HGNN）：Identifying user geolocation（2022年）
sinat_41942180的博客
03-12 1113
为了自适应地调整每个节点的影响，在[55]中提出了一种对不同区域邻域信息的学习利用和不同聚合的选择性组合的方法。[6,11]早期的工作主要集中于从用户发布的内容中挖掘指示性信息，这些信息依赖于基于各种自然语言处理技术（例如，主题模型和统计模型），可以将用户链接到他们的家乡。最近的努力融合了用户交互的协作感知和提高地理位置精度——例如，节点2vec[13]用于学习用户[7]的表示，结合通过doc2vec [14]的文本表示，以端到端方式预测用户位置。
基于场景图的3D场景生成与操作
16352图形到3D：基于场景图的3D场景端到端生成与操作Helisa Dhamo1，*Fabian Manhardt2，*Nassir Navab1Federico Tombari1，21TechnischeUniv ersitaütMuünchen 2Google摘要可控场景合成包括生成满足底层规范的3D...
在线深度聚类：聚类与网络更新的稳定性学习
然而，在特征聚类和网络参数更新之间交替的训练时间表导致视觉表示的不稳定学习。为 了 克 服 这 一 挑 战 ， 我 们 提 出 了 在 线 深 度 聚 类（ODC），同时执行聚类和网络更新，而不是交替。我们的关键见解是，...
CS224W课程学习笔记（五）：GNN网络基础说明
submarineas的博客
03-08 815
GNN 是对图的所有属性（节点、边、全局上下文）的可优化转换，它保持了图对称性（排列不变性）。这里我们可以构建一个最简单的GNN模型，此GNN在图的每个组件上使用单独的多层感知器（MLP），即分别对图的点、边和全局三个向量分别做一次MLP，用不同的映射函数，如下图所示：但现实是往往很难直接拿到完整的点或者边的信息，可能我们可以获取到所有的边，而缺少了一些点的数据，我们最终的目标是对节点进行预测，所以需要一种方法来从边缘收集信息并将其提供给节点进行预测。
图机器学习及图神经网络学习笔记（三）——————基于CS224W课程及同济子豪兄
qq_46582366的博客
03-26 977
GNN 的公式为：而CNN 的公式本来为, 我 们可以把它写 成.类比两个式子，再看如下两图我们可以把4*4的卷积看成一个图有9个节点。但是在CNN中，不同位置的邻域分别学习到不同的权重，但是在 GCN 中，卷积核权重由预定义。CNN 可以看作是一个特殊的 GNN, 具有固定的邻居大小和顺序：过滤器的大小是为 CNN 预先定义的。GNN 的优点是它对每个节点处理不同程度的任意图。CNN不是排列不变/等变的。切换像素的顺序会导致不同的输出。
图神经网络(GNN)简述
weixin_44808161的博客
08-06 1万+
本文根据Google Research发布在distill的一篇介绍图神经网络的文章来进行总结。
图神经网络简介，什么是图神经网络，GNN
热门推荐
一起躺躺躺的博客
05-13 2万+
distill博客：A Gentle Introduction to Graph Neural Networks (distill.pub) 什么是图？ 图是由一些点和一些线构成的，能表示一些实体之间的关系，图中的点就是实体，线就是实体间的关系。如下图，v就是顶点，e是边，u是整张图。attrinbutes是信息的意思，每个点、每条边、每个图都是有信息的。 怎么表示一张图，可以参考下面这个例子 每个顶点、边和整张图都可以用一个向量来表示，在这个例子中，顶点的向量有六个值，柱体的高矮就表示该值的.
GNN的一些总结
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
04-29 5938
转载dongZheX 目录 1.为什么我们需要图神经网络： 2.图神经网络发展的一些历史 3. Basic Model 4. Analysis 5 Efficiency 6.Pooling 7.About Experiment 8.GNN领域中的一些问题： 最近在接触图神经网络这块，因此目前我还是个搬运工，学习各位大佬的总结，希望之后我可以自己写一些总结。 大佬主要借鉴论文...
启发主义——深入神经网络（Inceptionism: Going Deeper into Neural Networks）
S20144144的博客
09-03 1592
传统的深度学习方法常用于根据数据标签学习分类、识别物体，或是学习数据或隐层的分布从而生成新的数据。而2015年提出的启发神经网络合成它想合成的图像，则开启了一种新的研究角度。之后开源的Deepdream则更是掀起了新的浪潮。下面我们翻译一下这篇论文。
图神经网络（ICML2022）
小蚂蚁与大象
08-31 1940
由此产生的模型名为FLASH3，与改进的transformer在短(512)和长(8K)上下文长度上的困惑度相匹配，在自回归语言建模方面，在Wiki-40B上实现了高达4.9倍的训练加速，在PG-19上实现了12.1倍的训练加速，在掩码语言建模方面在C4上实现了4.8倍的训练加速。结果表明，所提出方法可以以最小的微调成本实现更高的压缩比，并产生出色的和有竞争力的性能。值得注意的是，具有特征集成的NAFS在这些任务上优于最先进的GNN，并缓解了大多数基于学习的GNN对应方法的上述两个限制。...
Deep dream——《Going Deeper into Neural Networks》
老笨妞
03-30 2172
deep dream的体验和以往看论文，跑例子的过程完全不同。这是在跑“风格迁移”的例子时，在keras的examples中无意看到了程序，然后顺带跑一跑的。跑出来的效果让我觉得和无厘头，于是读程序，看它到底干了些啥。程序风格也很特别，没有和通常训练过程一般的迭代方式，又很好奇，处于什么目的做这个呢，于是，看了论文。看了论文，简直对写论文的人佩服的五体投地。整个过程笨妞的情绪就是一条“低开高走”的...
基于深度学习的不遗忘训练
最新发布
weixin_42605076的博客
10-02 333
基于深度学习的不遗忘训练（也称为抗遗忘训练或持久性学习）是针对模型在学习新任务时可能会忘记已学习内容的一种解决方案。该方法旨在使深度学习模型在不断接收新信息的同时，保持对旧知识的记忆。
2019 ICML：位置感知图神经网络提升节点位置表示
传统的图神经网络（GNN）在处理节点相对于图中所有其他节点的位置时，其能力受到限制。P-GNNs的设计旨在解决这一问题。它首先通过采样一组邻近锚点节点，然后计算给定目标节点与每个锚点集之间的距离。接着，P-GNN...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值