大型语言模型(LLMs)在许多不同的自然语言处理(NLP)任务中表现出色。提示工程在提升LLMs已有能力的基础上,实现显著性能提升方面发挥了关键作用。提示工程需要撰写称为提示的自然语言指令,以结构化方式引导LLMs挖掘知识。与之前的最新技术(SoTA)模型不同,提示工程不需要根据特定NLP任务进行广泛的参数重新训练或微调,而是完全依赖于LLMs的内嵌知识。此外,LLM爱好者可以通过基本的自然语言对话交流或提示工程,智能地提取LLMs的知识,使更多没有深厚数学和机器学习背景的人也能尝试使用LLMs。随着提示工程在过去两年中越来越受欢迎,研究人员提出了许多围绕提示设计的工程技术,以提高从LLMs提取信息的准确性。在本文中,我们总结了不同的提示技术,并根据它们所应用的不同NLP任务进行分类。我们进一步细化地展示了这些提示策略在不同数据集上的性能,讨论了所使用的相应LLMs,提供了一个分类图,并探讨了特定数据集可能的最新技术。总的来说,我们阅读并总结了44篇研究论文,涵盖了39种不同的提示方法,涉及29个不同的NLP任务,其中大多数论文在过去两年内发表。
人工智能随着大型语言模型(LLMs)的引入显著进步。LLMs在包含数百万和数十亿个标记的大规模文本语料库上进行训练。研究表明,随着模型参数数量的增加,机器学习模型的性能会提高,这也正是LLMs的情况。Chang等人(2023)的研究表明,LLMs在广泛的NLP任务上取得了前所未有的性能,因此引起了学术界和包括医学、法律、金融等在内的各个行业的广泛关注。目前对LLMs的研究阶段侧重于通过提示(prompts)来提升其推理能力,而不仅仅是下一个标记的预测,这开启了围绕提示工程的新研究领域。
提示工程是指创建自然语言指令或提示,以有组织地从LLMs中提取知识的过程。与早期的传统模型相比,提示工程仅依赖于LLMs的内嵌知识,而不需要根据基础的NLP任务进行广泛的参数重新训练或微调。理解模型参数中所嵌入的现实世界知识超出了人类的能力,因此这个新的提示工程领域引起了大家的关注,因为它允许研究人员与LLMs之间进行自然语言交流,以实现基础NLP任务的目标。
在这项工作中,我们列举了几种提示策略,并根据它们所应用的不同NLP任务进行分类。我们提供了一个分类图,列出了在各种数据集上尝试的提示技术,讨论了所使用的LLMs,并列出了每个数据集的潜在最新技术(SoTA)方法。作为本次调查的一部分,我们总共审查并分析了44篇研究论文,其中大部分发表在过去两年,涵盖了39种提示技术,应用于29个不同的NLP任务。此前关于提示工程的系统性综述并不多见。Sahoo等人(2024)调查了基于其应用的29篇提示技术论文。这是一种非常广泛的分类,因为单一应用可以包含众多NLP任务。例如,他们讨论的一个应用是推理和逻辑,它可以包含大量NLP任务,如常识推理、数学问题解决、多跳推理等。这与我们的方法不同,我们根据NLP任务对提示策略进行更细致的分类。Edemacu和Wu(2024)提供了关于隐私保护提示方法的概述,因此侧重于提示工程的一个相对较小的子领域。Chen等人(2023)将提示策略的讨论限制在9-10种方法,并且没有基于NLP任务对其进行分类。
本文的其余部分安排如下。第二节讨论各种提示工程技术,第三节重点介绍不同的NLP任务。第三节的各个子部分讨论了在给定NLP任务上应用的不同提示策略及其相应的结果。第四节总结全文。
提示工程技术
在本节中,我们简要讨论了不同的提示方法,以及它们在发表时如何改进现有的性能。需要注意的是,大多数以下提示策略都在两种不同的变体或设置下进行了实验,这两种变体包括零样本和少样本。有些提示技术可能本质上只存在于零样本或少样本变体中,不可能存在其他变体。
在零样本设置中(Radford等,2019),没有涉及训练数据,通过提示指令要求LLM执行任务,完全依赖于其在预训练阶段学习的内嵌知识。另一方面,在少样本变体中(Brown等,2020),提供少量训练数据点以及基于任务的提示指令,以便更好地理解任务。各种提示工程工作的结果显示,少样本变体有助于提高性能,但这需要仔细准备少样本数据点,因为LLM可能对精心编制的少样本数据点表现出无法解释的偏见。
不同NLP任务上的提示工程
不同的研究论文在将数据集分类为NLP任务时使用了不同的标准,这在不同的研究中有所不同。在本节中,我们尝试标准化这些分类方法,通过定义不同的NLP任务并将不同的数据集归入这些任务来构建一个结构。我们还讨论了用于这些任务的各种提示方法。图1展示了这种分类的一个示意图。需要注意的是,一个数据集可能同时属于不同的NLP任务,但这会导致复杂的结构化分析**纠缠,不利于分析提示技术在各个NLP任务中的表现。因此,在我们的工作中,我们确保每个数据集只属于一个与之最强相关的NLP任务。
以下各小节分别定义了不同的NLP任务、相应的数据集以及应用于这些数据集的各种提示策略。它们还包含每个数据集的潜在最新技术(SoTA)提示技术。提示方法的性能因使用的LLM而异。因此,我们还列出了在给定数据集上与提示策略一起使用的LLM列表。对于SoTA,我们只提及了提示方法的名称,因为在许多情况下,特定的LLM尚未与给定的提示方法进行实验,因此不清楚它是否能达到SoTA性能。因此,如果列表中的任何LLM与提示策略一起用于实验,并在给定数据集中取得了最佳性能,我们将其指定为SoTA,而不论用于该技术的确切LLM是什么。另一个需要强调的点是,在许多研究中,作者使用了同一数据集的不同版本进行实验,使得不同提示技术的绝对比较变得困难。基于我们的理解,我们考虑了上述所有因素,并在选择每个数据集的SoTA时运用了最佳判断。
如何系统的去学习大模型LLM ?
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业
?”“谁的饭碗又将不保了?
”等问题热议不断。
事实上,抢你饭碗的不是AI,而是会利用AI的人。
继科大讯飞、阿里、华为
等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?
与其焦虑……
不如成为「掌握AI工具的技术人
」,毕竟AI时代,谁先尝试,谁就能占得先机!
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。
针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料
分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)
LLM大模型学习路线 ↓
阶段1:AI大模型时代的基础理解
-
目标:了解AI大模型的基本概念、发展历程和核心原理。
-
内容:
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2:AI大模型API应用开发工程
-
目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
-
内容:
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3:AI大模型应用架构实践
-
目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
-
内容:
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4:AI大模型私有化部署
-
目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
-
内容:
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料
包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓