LLM系列(2)：开源LLM Promp调优之道进阶指南

LLM系列(2)：开源LLM Promp调优之道进阶指南

随着大模型在不同领域场景的应用，AI 技术的落地方式也有了很大的颠覆，基于大模型的 AI 技术方案重构已成为当前热点和未来趋势。但另一方面，面向不同领域场景构建行业专属大模型，对底层计算资源要求比较高，通常需要大量的 GPU 卡完成行业专属大模型的训练。特别是当前一卡难求的现状，使得大模型在行业场景的落地面临较大的资源问题。如何基于有限的计算资源，在现有预训练大模型的基础上，开展行业场景的大模型落地，则显得更加符合迫切。本篇通过对 LLM 预训练大模型的 Prompt 调优方法的调研，梳理主要的 Prompt 调优方法，并在此基础上开展大模型行业场景的 PEFT 调优实践，评估不同规模参数的预训练大模型在具体场景调优过程中需要的资源需求，建立资源基线，以更好地在不同政企场景中开展大模型落地。本文整体结构如下：首先基于刘鹏飞的综述论文，对大模型调优方法进行整体说明，其次介绍下不同的 Prompt 调优方法，包括 hard prompt 和 soft prompt 的调优方法，最后对对应的调优方法开展落地实践，以建立大模型落地的资源基线。

1. Prompt 调优介绍

在刘鹏飞的综述论文中，NLP 的发展历程总结为 4 种范式，如下图。在之前 “pre-train + finetune” 的范式基础上，发展出来一种 “pre-train, prompt, and pre