把大模型装进冰箱分几步？来看看这本大模型五步学习法-CSDN博客

本文链接：https://blog.csdn.net/xiangxueerfei/article/details/138970936

今天推荐的是由DataBricks发布的电子书：The Path to Deploying Production-Quality GenAI Applications。

它为学习LLM的人提供了阶梯式的通关策略，无论你是初学者还是有一定经验的，都能找到自己的Stage。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

DataBricks是一家专业处理数据的公司，可以看作是Spark的商业版，在数据处理方面具有优势，能够为训练大模型提供高质量的数据，而数据是Scale Law三大要素之一。

Stage 0：先用起来

作为一个初学者，为了避免被复杂的技术原理劝退，可以先用起来，第一步是要选择一个好的模型，一个好的模型具有强大的推理能力，能够跟随用户指令，能够举一反三。

作为一家商业性质的公司，在书中免不了要介绍自家的产品，没错，这就是DBRX，一个开源的大语言模型。

Stage 1：Prompt Engineering

尝鲜过后就会进入到一个平淡期，如果想重燃激情，就需要一种动力，这种动力来源于通过你的努力带来模型的性能提升。但此时你还没掌握太多的技术原理，也没有资源去做模型微调，如何去获取这种满足感？答案是Prompt Engineering，这是一种开箱即用也不需要付出资源就能提升模型性能的方法。

Prompt作为人类与LLM交互的唯一方式，通过设计合理的Prompt，不仅能避免模型的幻觉问题，还能充分挖掘LLM的涌现能力。

Stage 2：RAG

前面我们学会了如何使用LLM，也学会了设计Prompt，但你会发现LLM的回答并没有与时俱进，这是因为它的训练数据是有保质期的。例如，最近发布的GPT-4o训练数据也是截止到2023年底。为了解决这个问题，这就需要与传统搜索引擎结合使用，先用搜索引擎检索出网页，然后LLM对其进行进一步加工。

当然，RAG不仅仅能解决时效性问题，还能解决数据私有化问题，而LLM与外部组件相结合的方式也引申出一种新范式：AI Agent。

如果通过不断地累算力，数据，模型来提升模型能这条道路走不通的话，Agent也许就是另一条可行道路。

Stage 3：微调

RAG能让模型回答的更准确，更专业，但本质上讲，RAG也是一种Prompt Engineering，就是将检索的内容填充Prompt使其作为上下文传递给LLM，再利用LLM的总结，推理能力获得专业的回答。

那如何让一个学富五车的LLM变成一个领域专家？答案是微调。也就是通过使用领域数据对LLM进行微调。也就是通过反向传播算法修改模型参数使其拟合新数据。

还有一种比较重要的微调是指令微调，在使用LLM时，你让LLM翻译它就能翻译，你让它总结就能总结，这都是通过指令微调使其就被指令跟随能力，而在传统深度学习模型时代，翻译和总结就得单独训练两个模型了。

其实微调有很多种，总结来说，有的需要修改模型全部或者部分参数，而有的则是修改Prompt。

Stage 4：预训练

微调一般都是基于一个开源的模型，这个模型一般在大规模数据集上进行自监督预训练，通过有监督数据进行指令微调，再通过强化学习让其向人类对齐。

所以一个组织在开源模型时，都会发布两个模型文件，一个只经过预训练过程，另一个则经过微调具备Chat功能。

这时你已经具备能力，也有野心，想从零训练一个属于自己的模型。一般来讲，你需要选择一种模型架构，是投向Bert阵营，还是选择GPT。然后设定模型层数，头数，Embedding大小，上下文长度。

接下来要准备数据，并选择一种合适的Tokenlization方法。如果你想简化流程，可以选择一些框架。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好，希望能够真正帮助到大家。