ProGraph数据集：NeurIPS发布首个面向专业人士的大型语言模型图分析数据集

2024-09-29 ，NeurIPS发布首个面向专业人士的大型语言模型图分析数据集GraphPro。这是首个目的测试和提升LLMs在图分析任务上表现的基准。该数据集的创建不仅填补了现有基准测试的空白，还为LLMs在图分析领域的应用提供了新的视角。

一、研究背景：

图分析在多个领域中都扮演着至关重要的角色，包括社交网络分析、生物信息学、推荐系统等。然而，现有的LLMs在处理图数据时，往往只能处理小规模的图，且依赖于直接的提示推理，这限制了它们处理大规模复杂图的能力。

目前遇到困难和挑战：

1、图规模的限制：现有的LLMs在处理大规模图时表现不佳。

2、缺乏专业的图分析能力：LLMs需要更专业的图分析方法，而不仅仅是基于提示的推理。

3、数据集的缺乏：缺少能够测试和提升LLMs在图分析上表现的数据集。

数据集地址：ProGraph|图形分析数据集|大型语言模型数据集

二、让我们一起来看一下GraphPro数据集：

GraphPro是一个全新的基准测试，旨在通过编程解决方案来挑战和提升LLMs在图分析任务上的能力。 由NeurIPS社区精心设计，包含三个类别的图任务，要求解决方案基于编程而不是直接推理。

数据集特点

1、多类别任务：涵盖从简单到复杂的多种图分析任务。

2、编程解决方案：要求基于编程库来解决问题，模拟专业人士的工作方式。

3、大规模图数据：包含大规模图数据，以测试LLMs的极限。

数据集使用方法

• 文档检索：通过检索相关文档来增强LLMs的理解能力。

• 代码微调：在开源代码上微调LLMs，以提升其图分析的准确性。

基准测试

性能测试：测试了当前最佳模型在GraphPro上的表现，发现准确率仅为36%。

改进策略：提出了通过文档检索和代码微调来提升LLMs性能的方法。

三、让我们一起展望GraphPro数据集应用：

比如，我是一名社交网络分析师。

我的工作就是弄清楚人们在社交网络上是如何互动的。我经常盯着那些复杂的网络图，一个节点一个节点地分析，看看谁和谁经常互动，谁可能是社交圈里的大V或者意见领袖。

这活儿可不轻松，我需要手动整理数据，画图，分析模式，有时候还得写代码来帮助分析。这不仅耗时耗力，而且有时候还会出错，毕竟人脑处理这么多数据还是有点力不从心的。

但现在，有了通过GraphPro这个数据集训练的智能系统

智能系统就像是有了读心术一样，能够快速识别出哪些用户群体是关键的，哪些节点是影响力节点。我只需要给它一些数据，它就能给你一个清晰的分析结果，告诉我哪些人是社交网络中的活跃分子，哪些人可能是潜在的营销目标。

而且，这个模型还能帮我发现一些你以前可能没注意到的模式，比如某些用户群体的特定行为模式，或者是某些话题如何在网络中传播。这样，我的分析就更加深入和全面了。

总的来说，我的工作变得更加高效和准确。我不再需要花费大量时间去手动分析数据，而是可以把时间用在更有价值的策略制定和决策上。这就像是我从骑自行车升级到了开跑车，速度和体验都提升了一个档次。噢耶。

来吧，让我们一起走进数据集：ProGraph|图形分析数据集|大型语言模型