【论文阅读】LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

已于 2024-07-15 00:32:30 修改
阅读量140 收藏
点赞数 3
分类专栏： 阅读 文章标签： 论文阅读 语言模型 人工智能
于 2024-07-15 00:30:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42725437/article/details/140425956
版权

LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

https://openreview.net/forum?id=wxClzZdjqP
图对比学习的重点就是图数据的增强，针对图中节点的表示或者图的结构进行扰动，通过对比学习得到对应的节点表示，以便于进行节点分类、连接预测等。
这个工作用LLM提升特征增强和结构增强。
在这里插入图片描述
在这里插入图片描述

特征增强

Structure-Aware Summarization (SAS)
对于每个节点v，构建一个提示，将锚定节点和其邻居的文本属性（表示为{Sv, SNv}）以及调整文本属性的说明结合在一起。
Independent Reasoning (IDR).
对于每个节点v，我们生成一个提示，将锚定节点的文本属性作为输入，并指示LLM预测该节点的类别并提供解释。
Structure-Aware Reasoning (SAR).
对于每个节点v，我们设计了一个提示，其中包含了锚定节点Sv及其邻居SNv的文本属性，以及一个关于节点潜在类别的开放式查询。

结构增强

图结构增强（GSA）。让Nv和 ̄ Nv分别表示节点v的连接和断开连接节点集合。我们查询LLM模型，以预测Nv（或 ̄ Nv）中的节点是否应该与锚定节点v断开连接（或连接）。

对LLM进行微调作为text encoder

使用MLM、TACL、GIANT进行微调
在这里插入图片描述

qq_42725437
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文笔记：Think-on-graph: Deep and responsible reasoning of large language model with knowledge graph
Daisymanman的博客
03-07 1193
尽管大语言模型在各种任务中取得了显著的效果，但是经常存在幻觉问题。通过在LLM推理中引入外部知识图谱可以解决部分问题。本文提出一种新的LLM-KG集成范式，将LLM视为一个代理，交互探索KG上的相关实体和关系，并基于检索到的知识进行推理。作者引入一种名为在图上思考（Think-on-Graph, ToG）的方法来进一步实现这一范式，LLM代理在KG上迭代执行波束搜索，发现最优路径，并返回最有可能的推理结果。ToG方法的优点：① 与LLM相比，ToG具有更好的深度推理能力；
论文译文：LLM Maybe LongLM: SelfExtend LLM Context Window Without Tun
07-10
论文译文：LLM Maybe LongLM: SelfExtend LLM Context Window Without Tun
【论文阅读】LLM4GCL: CAN LARGE LANGUAGE MODEL EM-POWER GRAPH CONTRASTIVE LEARNING?
飞跃大海的猪
01-23 1257
本文提出了LLM4GCL，第一个全面系统地研究LLM在GCL的应用。旨在深入解决以下关键研究问题：如何利用LLM在特征和结构层面上增强图增强？如何以无监督的方式微调预训练的PLM，以增强其编码文本节点属性和结构关系的能力？
【论文阅读】GPT4Graph: Can Large Language Models Understand Graph Structured Data?
飞跃大海的猪
01-19 2691
本文通过实验评估LLM在理解图结构数据的能力——在各种各样的结构和语义相关的任务上评估LLM在图结构数据理解的能力。目标是建立一个全面的比较，以显示LLM在理解图结构数据的能力。
Making Large Language Models Perform Better in Knowledge Graph Completion论文阅读
GCTTTTTT的博客
01-23 1459
基于大语言模型（LLM）的知识图补全（KGC）旨在利用 LLM 预测知识图谱中缺失的三元组，并丰富知识图谱，使其成为更好的网络基础设施，这可以使许多基于网络的自动化服务受益。然而，基于LLM的KGC研究有限，缺乏对LLM推理能力的有效利用，忽略了KG中的重要结构信息，阻碍了LLM获取准确的事实知识。在本文中，论文中讨论如何将有用的知识图谱结构信息融入到LLM中，旨在实现LLM中的结构感知推理。论文中首先将现有的LLM范式转移到结构感知设置，并进一步提出知识前缀适配器（KoPA）来实现这一既定目标。
【论文阅读】Can Large Language Models Empower Molecular Property Prediction?
飞跃大海的猪
01-19 1305
分子属性预测得到巨大的关注，分子图能够被描述为图结构的数据或SMILES 文本。LLMs的快速发展给NLP领域带来颠覆性变化，但是，LLM如何影响分子性质预测的探索仍处于早期阶段。本文提出，对于所给的SMILES序列，设计合理的提示，提示LLM进行zero/few-shot 分类，并总结出新的表征，用新的表征在下游任务上微调小规模LMs。
LLM(Large Language Model)大语言模型
Ryan-Yu的博客
07-12 2643
该模型使用双向方法从一个词的左右两边捕捉上下文，使得各种任务的性能提高，如情感分析和命名实体识别。GPT-3（OpenAI）： Generative Pre-trained Transformer 3（GPT-3）是最著名的LLM之一，拥有1750亿个参数。该模型在文本生成、翻译和其他任务中表现出显著的性能，在全球范围内引起了热烈的反响，目前OpenAI已经迭代到了GPT-4版本。语言模型够大，训练的语料够多，涌现出推理能力飙升等。
LLM+KGs综述：Unifying Large Language Models and Knowledeg Graphs: A Roadmap
weixin_52953225的博客
06-29 3515
综述笔记：统一大语言模型和知识图谱
论文阅读笔记(六)——MINILLM: KNOWLEDGE DISTILLATION OF LARGE LANGUAGE MODELS
saltfish920的博客
05-14 1259
知识蒸馏（KD）是一种减少大语言模型（LLMs）高计算需求的有效技术。然而，之前的知识蒸馏方法主要应用于白盒分类模型或训练小模型来模仿黑盒模型API（如ChatGPT）。如何有效地将白盒大语言模型的知识蒸馏到小模型中仍未得到充分探索，这在开源大语言模型兴起的背景下变得尤为重要。在这项工作中，我们提出了一种知识蒸馏方法，将大语言模型蒸馏到较小的语言模型中。
【阅读笔记】Graph of Thoughts: Solving Elaborate Problems with Large Language Models
Vincy_King
09-03 2156
作者介绍了Graph of Thought (GoT)：一个具备提高LLM提示能力，超越了思维链或思维树 (ToT) 等范式提供的能力的框架。GoT的关键思想和主要优势是能够将LLM生成的信息建模为任意图，其中信息单位（“LLM思想”）是顶点，而边对应于这些顶点之间的依赖关系。这种方法能够将任意的LLM思想组合成协同结果，提炼出整个思想网络的本质，或者使用反馈循环来增强思想。作者说明了GoT在不同的任务上提供了比现有技术更好的优势，例如比ToT提高了62%的排序质量，同时降低了大于31%成本。
Learning Large Language Model (LLM）(大语言模型学习).zip
03-14
本资源包"Learning Large Language Model (LLM）.zip"聚焦于帮助用户理解和掌握大语言模型的相关知识，特别是针对垂直领域的应用和多模态的学习交流。 首先，我们要理解什么是大语言模型。大语言模型是一种经过大...
大语言模型 Large Language Model
08-31
"大语言模型 Large Language Model" 大语言模型（LLM）是一种基于神经网络的自然语言处理技术，能够学习和预测自然语言文本的规律和模式。它可以理解和生成自然语言文本，是一种强大的AI程序。 大语言模型的特点...
Large Language Models Can Self-Improve.pdf
05-18
比如，in-context few-shot learning使得LLM能够在只有少量示例的情况下处理从未训练过的任务；Chain-of-Thought（CoT）提示展示了LLMs在各种任务中强大的推理能力，无论是否使用少量示例；自我一致性通过自我评估多...
A Survey of Large Language Model 中文版
01-14
《大语言模型综述》是一篇深入探讨大型语言模型（LLM）的综合文献，它由赵鑫等人撰写，详细阐述了自20世纪50年代图灵测试以来，人类在机器语言智能上的探索，特别是预训练语言模型（PLM）在自然语言处理（NLP）任务...
Test-Time Adaptation via Conjugate Pseudo-labels--论文笔记
dezwb的博客
07-09 1130
测试时间适应(TTA)指的是使神经网络适应分布变化，在测试时间仅访问来自新领域的未标记测试样本。以前的TTA方法对无监督目标进行优化，如Tent中模型预测的熵，但尚不清楚究竟是什么造成了良好的TTA损失。本文首先提出一个令人惊讶的现象：如果我们试图在一个广泛类别函数上元学习可能的最佳TTA损失，那么我们恢复的函数与Tent使用的Softmax-熵非常相似(温度缩放的版本)。然而，这只有在我们正在适应的分类器是通过交叉熵损失来训练的情况下才成立；
Feature Alignment and Uniformity for Test Time Adaptation--论文笔记
最新发布
dezwb的博客
07-11 1019
TTA在接收训练分布外的测试域样本时对深度神经网络进行自适应。在这样设置下，模型只能访问在线未标记的测试样本和训练域上的预训练模型。由于源域和目标域之间的域差距，我们首先将TTA作为一个特征修正问题来解决。之后，我们根据对齐和一致性两个方面来讨论测试时间特征的修正。对于测试时间特征一致性，我们提出了一种测试时间自蒸馏策略，以确保当前批次和所有先前批次的表示之间的一致性。对于测试时间特征对齐，我们提出了一种记忆的空间局部聚类策略，以对齐即将到来的批次的邻域样本之间的表示。
论文阅读2-《Dynamic Multimodal Fusion》
PETERPARKERRR的博客
07-09 633
（DynMM），一种新的方法，自适应融合多模态数据和 d在推理过程中生成依赖于数据的前向路径。为此，我们提出了一种门控功能来提供基于多模态特征和一个的模态级或融合级决策提高计算效率的源感知损失函数。
Efficient Estimation of Word Representations in Vector Space论文笔记解读
m0_52775136的博客
07-09 609
将输出层的单词表示为一个二叉树，其中每个叶子节点都表示一个单词。每个非叶子节点都表示两个子节点的内积，每个叶子节点都表示该单词的条件概率。对于给定的一对（中心单词，上下文单词），我们希望最大化它们的共现概率。最后输出V个概率，复杂度比较高，采用了2重方法降低复杂度，分别是层次softmax和负采样。Word2vec的向量表示能够自动捕捉到单词之间的语义和语法关系。舍弃多分类，把多分类转变成二分类问题（正样本和负样本）。用周围词预测中心词，求和的时候忽略了每个词的顺序。增大正样本的概率，减小负样本的概率。
large language model
07-12
大型语言模型（Large Language Model，LLM）是指在大规模语料库上进行预训练的深度学习模型，用于自然语言处理任务。这些模型通常基于神经网络架构，如循环神经网络（RNN）或变种，如长短时记忆网络（LSTM）或Transformer模型。预训练过程使模型能够学习语言的潜在结构、语法和语义，并捕捉大量文本数据中的统计规律。 一旦预训练完成，LLM可以用于各种下游任务，如文本生成、机器翻译、问题回答等。通过微调或迁移学习，LLM可以根据具体任务进行进一步训练，以提高性能。 一些知名的大型语言模型包括OpenAI的GPT系列（如GPT-3）、Google的BERT和XLNet等。这些模型在各自领域取得了显著的成果，但也需要大量的计算资源和数据来进行训练和使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值