论文略读：OpenGraph: Towards Open Graph Foundation Models

已于 2024-05-16 22:29:01 修改
阅读量453 收藏 4
点赞数 1
分类专栏： 论文笔记 文章标签： 论文阅读
于 2024-04-23 00:00:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/138096852
版权
文章探讨了如何通过Graph+大模型在无监督的Zero-shot预测中处理不同数据集的Token变化，强调了有效处理节点间复杂关系以及应对训练数据稀缺问题。方法部分着重于统一图tokenizer的设计以实现跨数据集的高效特征提取和预测。
摘要由CSDN通过智能技术生成

arxiv 2023

1 intro

  • Graph+大模型
  • 希望OpenGraph能够捕捉通用的拓扑结构模式，对测试数据进行Zero-shot预测
    • 仅通过前向传播过程，就可以对测试图数据进行高效的特征提取和准确预测
    • 模型的训练过程在完全不同的图数据上进行，在训练阶段不接触测试图的任何元素
  • 为了达成这一目的，本文需要解决三个挑战：
    • C1. 跨数据集的Token集合变化
      • 零样本图预测任务的一个显著困难是，不同的图数据通常有完全不同的图token集合
    • C2. 高效的节点间关系建模
      • 在图学习领域，节点之间常常存在错综复杂的依赖关系，模型需要对节点的局部和全局邻域关系进行综合考量
    • C3. 训练数据稀缺

2 方法

2.1 统一 图tokenizer

UQI-LIUWJ
关注
专栏目录
【图像拼接（Image Stitching）】关于【图像拼接论文精读】专栏的相关说明，包含专栏使用方法、阅读顺序、创新思路、文章汇总、源码汇总、数据集汇总等。总之，【图像拼接论文相关】看这一篇就够了
畅游计算机视觉的海洋
11-30 3万+
为什么会有这篇文章？因为专栏简介里写不下太多东西，只能通过这篇文章和大家交流，算是一个专栏阅读指南吧。说点心里话本来吧，我只想用CSDN来记录自己学习【图像拼接】领域论文的过程，对每篇文章有个细致的理解，方便自己反复查阅。设置为付费也是因为涉及论文和本人其他项目需要，防止查重和其他问题，所以价格最开始设置的是专栏付费价格里最高的。起初，确实没有人看，一切也都平淡地度过着。
【图像去噪】论文精读：MemNet: A Persistent Memory Network for Image Restoration
畅游计算机视觉的海洋
08-22 697
论文题目：MemNet: A Persistent Memory Network for Image Restoration —— MemNet：用于图像恢复的持久记忆网络ICCV 2017！延长记忆网络MemNet！DRRN相同团队出品！最近，非常深的卷积神经网络 (CNN) 在图像恢复中引起了相当大的关注。然而，随着深度的增长，这些非常深的模型很少实现长期依赖问题，这导致先验状态/层对后续状态几乎没有影响。
探索未来图模型：OpenGraph——开放图基础模型
gitblog_00090的博客
06-09 448
探索未来图模型：OpenGraph——开放图基础模型 OpenGraph"OpenGraph: Towards Open Graph Foundation Models"项目地址:https://gitcode.com/gh_mirrors/ope/OpenGraph 当我们在数字世界的海洋中航行时，图形数据构成了我们触手可及的网络地图。然而，如何让这些图模型在未见过的新场景下也能游刃有余呢？这...
Open-world Machine Learning: Applications, Challenges,and Opportunities || 阅读笔记
m0_46297969的博客
10-07 2194
研究背景：传统的机器学习（主要是监督学习）遵循封闭世界学习的假设（将当前未知的事物都设为假的假设），对于他们每个测试类都有一个训练类可用。然而，这样的模型无法识别训练期间看不见的类（即看不见的类）,开放世界机器学习（OWML）则处理看不见的类。研究内容：first 概述OWML对现实世界的重要性；next 探索和讨论OWML的不同维度。本文对OWML的各种技术进行了系统评价；介绍了OWML的研究差距、挑战和未来方向。研究意义：本文将帮助研究人员了解 OWML 的全面发展以及将研究扩展到合适领域的可能性。
“新KG”视点 | 王文广——图模互补：知识图谱与大模型的共生新模式
开放知识图谱
11-10 2953
OpenKG大模型专辑导读知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力，知识图谱则丰富了表示知识的方式，两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下，OpenKG组织新KG视点系列文章——“大模型专辑”，不定期邀请业内专家对知识图谱与大模型的融合之道展开深入探讨。本期邀请到达观数据有限公司王文广分享“图模互补：知识图谱与大模型...
【大图模型】图智能 + 大模型
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
09-28 531
蚂蚁「大图模型」研究，为图智能迈向AGI铺了一条新通途
An Open-World Extension to Knowledge Graph Completion Models复现
qq_47220888的博客
10-26 67
An Open-World Extension to Knowledge Graph Completion Models（OWE）复现。
论文目录3：大模型时代（2023+）
qq_40206371的博客
03-05 1591
早期做instruction tuning的workin-context learning都是没有finetune过程，这里相当于finetune了一下在in-context learning的时候，故意给一些错误的例子、其他领域的返利，看看大模型的效果——>这篇论文的结论是，in-context learning只起到“唤醒”的作用，LLM本身就具备了所需要的功能。这里给LLM范例的作用只是提示LLM要做这个任务了在更大的LLM中，in context learning 确实也起到了让模型学习的作用。
论文笔记目录（ver2.0）
qq_40206371的博客
01-25 2783
soft-dtw，可微分版本的dtwASTGCN:1）使用空间注意力机制来建模空间层面复杂的相关性2）使用时间注意力机制来捕获不同时间之间的动态时间相关性3）使用图卷积来捕获交通图中的空间特征；以及不同时间篇之间的依赖关系开发了一种transformer 用于时间序列1，使用因果卷积使得Q,K计算过程中可以看到一定的局部性2，提出LogSparse Transformer，将空间复杂度降至利用深度学习解决单变量时间序列点预测问题提出了一种。该模型具有可解释性时空注意力机制。
论文阅读汇总（4）-【篇数：50】
scu-liu的博客
07-05 731
本人学习所有系列：汇总帖 这一篇文章作为精读/泛读论文的一个汇总贴。 开始新的100篇~ 1-50：1-50汇总 51-100：51-100汇总 101-150：51-100汇总 20210705- 《Directed Acyclic Graph Network for Conversational Emotion Recognition》 主要内容： 20210705- 《Directed Acyclic Graph Network for Conversational Emotion Reco
略读或渗透：在具有战略意义的消费者面前，新时尚产品的最优定价
03-12
这篇名为“略读或渗透：在具有战略意义的消费者面前，新时尚产品的最优定价”的研究论文，由Peng Du和Qiushuang Chen共同撰写，探讨了在这种情况下如何制定最优的新产品定价策略。 文章首先构建了一个简化的模型，...
略读或渗透：在战略客户在场的情况下，新时尚产品的最优定价
04-08
略读或渗透：在战略客户在场的情况下，新时尚产品的最优定价
文献略读：Frontier-Based 相关
m0_46167617的博客
09-14 990
文献略读：Frontier Based 相关 A Frontier-Based Approach for Autonomous Exploration 该论文第一次提出了frontier-based方法 frontier：已知空间和未探索空间的分解区域 核心思想：To gain the most new information about the world, move to the boundary between open space and uncharted territory. 地图采用evid
文献略读：Next Best View 相关
m0_46167617的博客
09-14 1363
文献略读：Next Best View 相关 Receding Horizon “Next–Best–View” Planner for 3D Exploration 基于RRT和NBV的探索规划器 每一步都通过随机采样来构建RRT树，采样构型为 (x,y,z,ψ)(x,y,z,\psi)(x,y,z,ψ) 采样完成后，寻找增益最大的构型作为NBV，并得到前往该构型的路径 增益函数为Gain(n)=Gain(n−1)+Visible(M,ξk)exp(−λc(σk−1k))Gain(n) =
【论文阅读】Associative Alignment for Few-shot Image Classification
最新发布
cainiaomyf的博客
10-31 376
小样本图像分类旨在从每个“新类别”仅有的少量样本中训练模型。本文提出了一种关联对齐的思想，利用部分基础数据，通过将新类的训练实例与基础训练集中密切相关的样本对齐，来扩展新类的有效训练集规模。这种方法通过添加额外的“相关基础”样本到少量的新类样本中，从而允许更具建设性的微调。我们提出了两种关联对齐策略：1）一种度量学习损失，用于最小化相关基础样本与特征空间中新类样本中心点之间的距离；2）基于Wasserstein距离的条件对抗性对齐损失。
【论文阅读】语言模型何时需要检索增强
qq_52852138的博客
10-30 734
语言模型何时需要检索增强
SegNet & DeconvNet——论文阅读
qq_55009448的博客
10-28 867
此前的语义分割方法主要基于全卷积网络 (Fully Convolutional Networks, FCN)，这种方法通过卷积层逐渐下采样并生成粗略的标签映射，随后用双线性插值或条件随机场 (CRF) 进行细化。DeconvNet 引入了逆卷积网络 (Deconvolution Network)，旨在解决上述问题，以实现更加精细的语义分割效果。
【论文阅读】Persistent Homology Based Generative Adversarial Network
开心星人的博客
10-26 1528
现有的生成模型不能充分捕捉图像的全局结构信息，使得图像生成过程中难以协调全局结构特征和局部细节特征。该文提出了一种基于持续同调的生成对抗网络（PHGAN）。本文基于持久同调方法设计了拓扑特征变换算法，并通过全连通层模块和自注意模块将拓扑特征集成到遗传神经网络的鉴别器中，使PHGAN具有良好的全局结构信息捕获能力，提高了模型的生成性能。在CIFAR10数据集和STL10数据集上对PHGAN进行了实验评估，并与几种经典的生成式对抗网络模型进行了比较。实验结果表明我们的PHGAN模型具有较好的图像生成能力。
【论文阅读】FUNNELRAG：一个从粗到精的逐级检索范式
qq_41502855的博客
10-28 1286
合并的条件是新聚类c_new的大小（即包含的文档数量）加上要合并的聚类c的大小不超过最大聚类大小S。如果满足条件，我们就将聚类c合并到c_new中，将新聚类c_new添加到聚类集合C中，并从聚类集合C中移除聚类c，●指标，AR主要是检索指标，可能会高估检索信息的有用性，因为它机械地衡量检索信息是否包含答案字符串，即使检索信息没有传达准确的含义。● 调参，为了实现负载均衡和提高检索准确性，需要调整一些超参数，例如最大集群大小S，以及每个阶段之间需要仔细协作的数据流量，例如每个阶段检索到的单元数量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值