一文理解使用大模型的四种方式：提示工程、检索增强、微调和预训练

怎么用大模型？从易到难有四种方式。

这四种方式都可以改变模型行为，以便模型输出更符合我们想要的结果。每种方式各有优缺点。

这四种方式是可以搭配使用的。

提示工程（Prompt Engineering）

提示是与大模型交互最基本、最简单的方式。你可以把提示看作是给模型的指令。相当于告诉模型你希望它给你反馈什么样的信息。举例来说，假如你想了解中国古代史，你可以说

请介绍下中国古代史

或者

我是一名小学生，请介绍下中国古代史

这里“我是一名小学生”，就相当于一个提示，模型会理解你的意图，以小学生能听懂的语言进行介绍。

可以通过精心设计提示词，获得符合你预期的结果。

精心设计的提示词不可能一蹴而就，需要迭代更新，逐步逼近你的结果。可以用版本的方式管理每次迭代的结果，所以叫提示工程。

写好提示词，也需要掌握一些技巧。可以参考 编写高质量Prompt的9个原则

提示工程这种方式，会打字就可以做。

检索增强（Retrieval Augmented Generation，简称RAG）

RAG是一种通过知识库外挂的形式，让问题回复更精准。

当模型需要回答问题时，它首先从知识库中查找并收集相关信息，然后根据该信息回答问题，以确保它能给你最好的答案。

这种方式出现的原因是因为大模型只具有通用信息，而你有一些行业知识或特定问题，比如公司会有自己独有的资料库或者档案。借助RAG，可以把你独有的信息存储到向量数据库，模型回答问题时，调用这个数据库里的信息，给出更符合你的场景和要求的答案。

大模型的训练数据是有截止时间的，不是实时更新，比如GPT-4训练数据目前截止时间是2023年12月。

意味着GPT-4模型不知道这个时间以后发生的事情，利用RAG技术可以实时抓取最新数据，比如进行新闻搜索，以根据最新信息提供答案。

RAG这种方式，需要了解一些开发技术。

以上两种方式对模型本身不做任何改变。

微调（Fine-tuning）

微调指的是在预训练的大模型基础上，通过进一步的训练来适应特定的任务或数据集的过程。

当预训练模型需要应用于具体的、特定的任务（如特定领域的文本分类、情感分析等），但这些任务的训练数据量较小，直接使用预训练模型无法达到最佳效果。微调就是通过在特定任务的数据上继续训练模型，使模型更好地适应这些数据的特征。

微调需要新的信息、时间、算力来进行训练，如果你需要模型更好的理解某些特定主题，微调会很划算。就像是教模型成为新的领域专家。经过微调后，模型可以为你提供更准确、更接近你所需内容的答案。

微调这种方式，改变了大模型的某些参数。

预训练（Pre-training）

预训练是语言模型学习的初始阶段。预训练时，需要海量未标记的文本数据，比如GPT-3使用了45TB（万亿字节）的数据，以无监督学习的方法对模型进行初始训练。预训练目标是捕捉和学习语言、图像或其他类型数据的内在结构和特征。

预训练模型通常基于深度神经网络，如循环神经网络（RNN）、长短期记忆网络（LSTM）、Transformer等，这些架构能够处理序列数据并捕捉长距离依赖关系。

预训练的结果是一个通用的模型，它对语言有一个基本的理解，但还没有针对任何特定任务进行优化。

有报道称，OpenAI 的 GPT-4 和 Google 的 Gemini Ultra 的训练成本预计分别约为 7800 万美元和 1.91 亿美元。

预训练这种方式，是极少数公司在做的，绝大多数公司可以基于开源模型做微调。

各种方式对比如下图：

2024最新全套大模型学习资料：大模型学习成长路线、书籍&学习文档、视频教程、项目实战、面试题汇总等，免费分享~

有需要的同学可以通过【微信扫描下方二维码】，即可免费领取！！！

一、大模型学习成长路线

学习新技能，方向至关重要。 正确的学习路线图可以为你节省时间，少走弯路；方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

二、大模型书籍&学习文档

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

三、大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

四、大模型实战项目

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

五、大模型面试题汇总

面试，不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

上述的资料已经全部打包好，有需要这份全套的大模型学习资料的同学，可以通过【微信扫描下方二维码】，免费领取！！！

机会总是留给有准备的人。 如果你需要学习大模型，那么请不要犹豫，立刻行动起来！早掌握，早享受。