哪个中文开源大模型在信息抽取上效果最好？附：用于提取的提示词

1. 背景

信息抽取（Information Extraction，IE）一般包括命名实体识别（Named Entity Recognition，NER）、关系抽取（Relation Extraction，RE）和事件抽取（Event Extraction，EE）。

NER作为基础任务，专注于识别并分类文本中的命名实体，如人物、组织、地点和日期。

RE则致力于发现实体间的语义联系，比如某人在某地工作或两人之间的婚姻关系。

EE则关注于识别文本中的特定事件及其相关要素，这些事件是特定时间、地点下发生的，涉及特定参与者和实体的行动或现象。

今天这篇论文的作者选取了4个中文开源模型进行实验和对比，这4个开源模型分别是：ChatGLM3-6B、Qwen-7B-Chat与Qwen-14B-Chat 、Baichuan2-13B-Chat。并且选取了ChatGPT作为测试基准进行对比。之所以选取这几个模型，是因为这几个模型在SuperCLUE排行榜上排名比较靠前，并且这几个模型都可以在一张A40的GPU上完成部署。

2. 信息抽取方法

2.1 命名实体识别方法

命名实体识别（NER）方面，作者采用了两种策略：基础法和分步法。

• 基础法简洁明了，仅需提供句子和实体类型列表，模型便能按照指定格式输出实体及其类型。

• 分步法则将任务拆分为两步：第一步，模型需识别并输出文本中的实体类型；第二步，模型将逐一针对每种实体类型输出相应的实体。

下图是作者用于命名实体识别的提示词：

2.2 关系抽取方法

关系抽取（RE）实验中，采用了两种零样本框架：VanillaRE和QA4RE。在这两种框架下，模型输入包括句子、两个实体以及所有可能的关系类型，分别设置了有类型约束和无类型约束两种情况。

• VanillaRE框架直接列出所有候选关系供模型选择

• QA4RE框架则将关系转化为多项选择题，更适合LLMs进行生成性问答

下图是作者用于关系抽取的提示词：

2.3 事件抽取方法

事件抽取（EE）任务因难度较高且基础框架表现不佳，作者只展示了分步法的实验结果，并对比了不同大型语言模型的性能。在分步法的第一阶段，模型负责从文本中识别所有预定义的事件类型；第二阶段则进一步提取每种事件类型的论元角色及其内容。

下图是作者用于事件抽取的提示词：

3. 到底哪个模型强！

3.1 命名实体识别任务哪个模型强？

在命名实体识别（NER）任务上，作者对比了零样本和少样本两种策略。零样本测试中，动用了五款大型语言模型（LLMs），并针对两个数据集进行了性能评估。少样本测试中，挑选了零样本评估中表现最优的开源模型 Qwen-14B-Chat，进一步在两个数据集上进行了测试。

3.1.1 零样本测试

NER 的零样本测试成果展示在下表中。

• (1) 所有大型语言模型中，ChatGPT-3.5-Turbo 以卓越的表现领先，其在所有数据集和方法上均取得了最高的F1分数。在所有开源LLMs中，Qwen-14B-Chat 在 MSRA 数据集上获得了最高的F1分数，而 Baichuan-13B-Chat 则在 Weibo 数据集上创下了最高纪录。

• (2) 在所有开源LLMs中，参数规模为13B/14B的模型在相同方法和数据集的准确度上，始终超越了参数规模为6B/7B的模型。除了 Baichuan-13B-Chat 在 Weibo 数据集上采用2-Stage方法得到的F1分数低于 Qwen-7B-Chat 0.55之外，参数规模较大的模型在F1分数上普遍优于参数规模较小的模型。这可能是因为规模更大的LLMs拥有更丰富的实体识别相关知识，从而带来更精准的分类效果。

• (3) 在涵盖两个数据集和五款LLMs的共10项测试中，2-Stage方法在7项测试的F1分数上超越了基础法。2-Stage方法在每次测试中至少提升了1.31个百分点，最高提升了18.01个百分点的准确率。这表明2-Stage方法能更有效地引导模型识别所需类型的实体，从而显著提高模型的预测准确度和F1分数。

• (4) 当模型保持不变时，MSRA 数据集上的F1分数普遍高于 Weibo 数据集。这种差异可能源于几个因素：首先，两个数据集的难度级别不同；其次，MSRA 数据集源自报纸媒体，使用的是书面语言，而 Weibo 数据集来自社交媒体，语言风格更偏向口语。模型的内在知识与书面语言更为契合，因此在提取书面文本信息方面更为得心应手。

3.1.2 少样本测试

NER 的少样本测试结果如下表。作者对每种方法进行了三种不同样本量的少样本测试：1个、5个和10个样本。

• (1) 少样本测试在四分之三的情况下F1分数超越了零样本测试，这表明提供示例有助于模型更好地理解任务。但在2-Stage方法中，除了从零样本到一样本F1分数有所提升外，增加样本数量并未显著提升，甚至降低了F1分数，这主要是由于精确度的大幅下滑。2-Stage方法将NER任务拆分为两个子任务，随着示例的增多，模型在第一阶段倾向于生成更多类型以匹配示例中的多样性，这可能导致在第二阶段询问一个不存在的类型时模型错误地输出潜在答案，从而显著降低了精确度和F1分数。

• (2) 在基础法中，除了在Weibo数据集上从1样本增加到5样本时精确度有所下降外，其他所有测试均显示，随着样本数量的增加，同一数据集上的精确度也随之提高。这是因为基础法的提示缺少详细的任务描述，导致模型在零样本测试中对预测实体类型的理解不够明确。一旦提供了示例，模型就能更准确地识别出需要提取的实体，从而显著提升了从零样本到一样本的精确度。随着样本数量的进一步增加，模型对任务的理解更加深入，精确度也得到了进一步提升。

(3) 2-Stage方法的测试结果呈现出不同的变化趋势。除了在Weibo数据集上从5样本增加到10样本时召回率轻微下降外，其他所有测试都显示，随着样本数量的增加，同一数据集上的召回率有所提升。这可能与(1)中提到的原因有关，即生成更多内容时，实验的召回率也在一定程度上得到了改善。

3.2 关系抽取任务哪个模型强？

中文零样本关系抽取的结果如下表。

• (1) 大多数大型语言模型在类型约束下表现优异，但在缺乏约束时性能急剧下降。没有类型约束，LLM必须在50种关系类型中做出选择，而适当的约束可以大大减少对模型的干扰信息。特别地，在某些特定类型的实体对中，只保留了正确的关系类型和“无上述关系”(NoTA)。

• (2) 传统基础法框架下的表现普遍优于QA4RE框架。这可能是因为DuIE2.0数据集的关系抽取任务对于LLM而言并不复杂，而问答(QA)形式的引入反而增加了理解难度。此外，在无约束实验中，许多不合理的选项（如“Alice是Bob的出版商”）被加入提示中，这些信息对LLM选择关系类型造成了干扰。

• (3) 在两种设置下，LLM的表现大体一致。ChatGLM3-6B、Qwen-7B-Chat、Qwen-14B-Chat和ChatGPT-3.5-turbo在有类型约束和无约束的环境中均展现出领先优势。在所有开源LLM中，Qwen-14B-Chat的表现最为出色，其在类型约束环境中的表现仅比ChatGPT-3.5-turbo低0.03个百分点。

• (4) 在无约束的QA4RE环境中，ChatGPT-3.5-turbo的表现远远超过其他LLM（70.01%对比47.35%），显示出其在面对较长且包含不合理句子的提示时，具有比所有开源LLM更强的抗干扰能力。然而，考虑到模型规模的差异（175B对比最大的14B），这样的差距实际上也是在可接受范围内。

讨论DuIE 2.0数据集的局限性时，值得注意的是，在类型约束设置中，许多实体对只保留了正确的关系类型和“无上述关系”(NoTA)。例如，出版社和书籍之间的关系类型仅限于“出版”或NoTA。这在一定程度上解释了为什么LLM在类型约束条件下能够表现卓越。

3.3 事件抽取任务哪个模型强？

上表展示了零样本事件抽取任务的结果。鉴于事件抽取对模型理解力的更高挑战，只能采用两阶段分解法，才能提炼出更为明晰的答案。ChatGPT以其卓越的理解力和对复杂提示格式要求的精准把握，再次以所有大型语言模型中最高的F1分数领跑。在开源模型领域，Baichuan2-13B-Chat表现出色，尽管其F1分数仍落后ChatGPT高达31.22分。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】