五分钟弄清楚爆火的提示工程，RAG和微调

大模型语境下的提示工程，RAG和微调是现在非常热点的几个不同的技术方向，他们具体是什么呢？三者的共性与区别是什么呢？今天一文带你搞清楚。

提示工程（Prompt Engineering）

提示工程相对是大家比较熟悉的概念，指的是通过精心设计，并且优化针对large language model的输入，来激发large language model的潜能，引导他在不同的任务上面呈现出更加精准，更加相关的输出出来。

那么大多数情况下prompts指的主要是文本，尤其是以自然语言来作为描述的文本，我们来构建这样的文本，然后把它输入给large language model，得出我们想要的结果，这个就是提示工程。

RAG（Retrieval Augmented Generation）

什么是RAG呢？RAG的全称叫做Retrieval Augmented Generation，翻译成中文的话应该叫做：检索强化生成。一般来说，我们就用它的英文字母缩写RAG来代表这样一个技术。那么RAG这种技术到底是干什么？其实这张图表达的就很清楚了，拿到用户的question之后，先在我们的知识库中去检索和用户的query相关的内容，再基于这些检索的结果，用它来组织prompt，提示给大模型得出我们希望能够得到的那种高质量的准确的响应。

大家一定注意，这里特别关键的一点就是它并不是直接把用户的问题就扔给大模型，而是在此前先有一个信息检索的过程，那么既然要信息检索，那么首先要存在一个知识。因此这里就隐含了一个知识库构建的过程，然后包括我如何在这个知识库中去匹配和我相关的信息的这样的一套技术，那么这些东西加起来就叫做RAG。

微调（Fine-tuning）

微调是另外一种利用大模型的方式，它和前两个不同的地方在于，前面两种技术，不管是提示工程还是RAG，大模型本身是没有任何的变化的，但是如果做微调，其实是要去通过一个训练的过程来修改大模型它本身的参数，微调的技术也有很多种不同的分支，我们在这里重点不是讲微调本身，而是把它和前两种技术来做一下对比。对于微调技术来说的话，它是要在特定的数据集上进一步调整和优化，Large language model里面的部分参数或者是外接的一部分参数，其目的是Fine-tuning large language model能够在特定的任务和应用上面达到一个更加优化的输出。

三者共性

刚才我们说的这三个概念，它们是有共性的。不管是prompt engineering，RAG还是fine tuning，他们都是利用large language model的手段，利用这些手段共同的目的都是提升大型语言模型的性能和效果。

具体怎么去提升，都是通过定制化以及上下文理解的相关的基础来达到对这个大型语言模型性能的提升，这是这三个概念的共性。

三者区别

说完共性之处，我们再来形象化地看一下这三者之间的不同，我们一起来把大模型想象成公司新来的一个实习生：

所谓prompt engineering就好像是我们这个用户作为老板直接给我们的大模型实习生下达一个任务命令最多我给他一两个之前的例子，然后就吩咐他去干活，比如我跟他说，你去写一个行研报告。那最多我给你看一个之前的行研报告是怎么写的，然后你就去写，这个就是prompt engineering。

“实习生”Prompt Engineering

RAG就好像我们在要求这个实习生去完成某个任务之前，先给了他。的参考资料，让他先去学习。比如说我先给你很多的资料，我让你成为某某行业的行业专家，然后你再去给我写这个行业报告，这个就是RAG。

“实习生”RAG

微调就好像我们把这个实习生又送去了一个培训班，专门的培训TA来做某一件事情，TA首先要经过一个非常严格的学习过程，一定要改变了TA的Mindset：要么改变了它的知识结构，要么改变了它的一些认知方式，然后才能够去完成这个任务。

“实习生”Fine-tuning

我们把大模型看成一个实习生，用不同的方式来给这个实习生布置任务，便是这三者的不同。

你明白了吗，欢迎评论区里沟通交流！

欢迎关注微软 智汇AI 官方账号

一手资讯抢先了解

感谢喜欢，点击一下 在看 吧