本文探讨如何将大型语言模型（LLM）的知识转移到局部图模型，用于文本属性图（TAG）学习。研究发现，尽管LLM在小样本和零样本学习中有优势，但存在可扩展性、成本和隐私问题。为此，提出了一种新框架，通过LLM教导的解释器模型，使图模型能够模仿LLM的推理，提高TAG学习效果。实验结果显示，该框架在四个数据集上平均提升了1.25%的性能。
本文是LLM系列文章，针对《Distilling Large Language Models for Text-Attributed Graph Learning》的翻译。
摘要
文本属性图（TAG）是连接的文本文档的图。图模型可以有效地学习标签，但它们的训练在很大程度上依赖于人工注释标签，而在许多应用程序中，人工注释标签很少甚至不可用。大型语言模型（LLM）最近在小样本和零样本TAG学习方面表现出了显著的能力，但它们存在可扩展性、成本和隐私问题。因此，在这项工作中，我们专注于通过在TAG学习中提取LLM到局部图模型的能力，将LLM和图模型与其互补的优势协同起来。为了解决LLM（文本的生成模型）和图模型（图的判别模型）之间的固有差距，我们建议首先让LLM教授具有丰富文本基本原理的口译员，然后让学生模型在没有LLM文本基本原理情况下模仿口译员的推理。大量实验验证了我们提出的框架的有效性。
1 引言
2 相关工作
3 前言
4 方法
5 实验
6 结论
在本文中，我们提出了一
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
