开源大语言模型（LLMs）改进大语言模型的方法-CSDN博客

本文链接：https://blog.csdn.net/2301_81940605/article/details/142218787

这是一篇关于适应开源大语言模型（LLMs）的三部系列博客的第一篇。本文探讨将LLM适应领域数据的各种方法。

第二部分讨论如何确定微调（fine-tuning）是否适合您的用例。
第三部分探讨策划良好训练数据集的一些经验法则。

0 引言

大语言模型（LLMs）在多种语言任务和自然语言处理（NLP）基准测试中展示了出色的能力。基于这些“通用”模型的产品应用正在增加。本文为小型AI产品团队提供指导，帮助他们将LLM适应并整合到他们的项目中。首先，澄清围绕LLM的（常常令人困惑的）术语，然后简要比较现有的不同适应方法，最后推荐一个逐步流程图，助你识别适合你的用例的方法。

1 适应LLM的方法

1.1 预训练

预训练是从头开始。

使用数万亿数据tokens训练LLM的过程。该模型使用自监督（self-supervised）算法进行训练。最常见的训练方式是通过自回归预测下一个token（又称因果语言建模）。预训练通常需要数千小时的GPU（105 – 107 ），并且分布在多个GPU上。预训练输出的模型被称为基础模型。

1.2 持续预训练

持续预训练（又称第二阶段预训练）涉及使用新的、未见过的领域数据对基础模型进行进一步训练。使用与初始预训练相同的自监督算法。通常所有模型权重都会参与其中，并且会将一部分原始数据与新数据混合进行训练。

1.3 微调（fine-tuning）

微调是使用带有注释的数据集以监督方式或使用基于强化学习的技术来适应预训练语言模型的过程。与预训练的主要区别：

使用带有正确标签/答案/偏好的带注释数据集进行监督训练，而不是自监督训练
所需tokens数量较少（成千上万或数百万，而预训练需要数十亿或数万亿），主要目的是增强如指令跟随、人类对齐、任务执行等能力

理解微调的当前格局可以从两个维度进行：改变的参数百分比以及微调结果带来的新功能。

1.4 改变的参数百分比

根据改变的参数数量，微调分为：

全量微调：顾名思义，它涵盖了模型的所有参数，包括像 XLMR 和 BERT（100 – 300M 参数）等小型模型上的传统微调，以及像Llama 2、GPT3（1B+ 参数）等大型模型上的微调
参数高效微调（PEFT） ：与微调所有LLM权重不同，PEFT算法只微调少量附加参数或更新预训练参数的子集，通常为1 – 6%的总参数

1.5 为基础模型添加的功能

微调的目的是为预训练模型添加功能，例如指令跟随、人类对齐等。Chat-tuned Llama 2是一个通过微调添加了指令跟随和对齐能力的模型示例。

1.6 检索增强生成（RAG）

企业也可以通过添加特定领域的知识库来适应LLM。RAG本质上是“基于搜索的LLM文本生成”。RAG使用一个根据用户问题检索到的动态提示上下文，并将其注入LLM提示中，从而引导其使用检索到的内容，而不是其预训练的（可能过时的）知识。Chat LangChain是一个基于RAG的LangChain文档问答聊天机器人。

1.7 上下文学习（ICL）

在ICL中，通过在提示中放置示例来适应LLM。研究表明，通过示例进行演示是有效的。示例可以包含不同种类的信息：

仅输入和输出文本——即少样本学习
推理轨迹：添加中间推理步骤；参见链式推理（CoT）提示
规划和反思轨迹：添加教LLM规划和反思其问题解决策略的信息；参见ReACT

还有多种修改提示的策略，提示工程指南中提供了详细的概述。

2 选择正确的适应方法

为了确定上述方法中的哪一种适合特定应用，应考虑各种因素：所需的模型能力、训练成本、推理成本、数据集类型等。以下流程图总结了如何选择合适的LLM适应方法：

在这里插入图片描述

3 总结

创建基于LLM的系统是一个迭代过程。建议从简单的方法开始，并逐步增加复杂性，直到实现目标。上面的流程图为你的LLM适应策略提供了坚实的基础。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望