[论文阅读]Label-free Node Classification on Graphs with Large Language Models (LLMS)

基于大语言模型的无标签图节点分类

2023 IEEE Symposium on Security and Privacy (SP)

AI-Guardian: Defeating Adversarial Attacks using Backdoors | IEEE Conference Publication | IEEE Xplore

摘要：

近年来，图神经网络（GNN）在解决节点分类问题方面取得了显著成就。然而，它们需要大量高质量的标签才能保证出色的性能。相比之下，大语言模型（LLMs）在具有文本属性的图上表现出卓越的零样本处理问题的能力，但在有效处理结构化数据时面临挑战，并且推理成本较高。基于这些观察，本研究提出了一种基于大语言模型的无标签图节点分类的方法——LLM-GNN。该方法 结合了 GNN 和 LLM 的优点，同时缓解了它们的局限性。具体来说，LLM 用于标注一小部分节点，然后通过这些标注训练 GNN，来对剩余的大部分节点进行预测。LLM-GNN 的实施也面临一个的挑战：如何主动选择节点供 LLM 进行标注，从而提升 GNN 的训练效果？如何利用 LLM 获得高质量、具有代表性和多样性的标注，以降低成本同时提高 GNN 的性能？为应对这一挑战，本文设计了 一个标注质量的启发式方法，并利用 LLM 的置信度得分来优化节点选择。全面的实验结果验证了 LLM-GNN 的有效性。特别是在大规模数据 OGBN-PRODUCTS