书生-浦语大模型_实战营第一节

来源：书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili

开源历程

书生浦语大模型系列

开放体系

从模型到应用

国内外评测体系

概念查询

Hybrid ZeroHybrid Zero加速技术

Hybrid ZeroHybrid Zero加速技术是一种针对大规模分布式深度学习的新型内存优化技术。它支持完整的ZeRO Stages1, 2和3，以及支持将优化器状态分割成更小的部分，以便在多个GPU上进行训练。这种技术可以提高训练效率，减少内存使用量，并且可以在多个GPU上进行扩展。

HuggingFace

HuggingFace是一个总部位于纽约的机器学习公司，它最初是一家聊天机器人初创服务商。他们开源了一个名为Transformers的库，这个库在机器学习社区迅速获得了广泛的关注和应用，现在已经共享了超过100,000个模型和数据集。HuggingFace可以理解为AI开发者的GitHub，提供了预训练模型、数据集（文本、图像、音频、视频）以及类库。其中，Hugging Face的Transformers库是一个非常强大的自然语言处理工具库，提供了一系列方便的API和工具，可以让开发者在进行各种自然语言处理任务时更加轻松。此外，Hugging Face Transformers基于开源的transformer模型结构，支持Pytorch和Tensorflow2.0，并且允许在两个框架之间进行转换。

XTuner

XTuner是一个由上海人工智能实验室开发的低成本大模型训练、微调工具箱。其显著特点是可以通过极小的显存实现大模型的训练和微调，例如对于7B参数量的语言模型，所需的最小显存仅为8GB。这大大降低了大模型训练的门槛，并使得用户可以在消费级显卡上进行微调，甚至可以在诸如Colab等免费资源上进行操作。

此外，XTuner还积极支持开源LLM，已经实现了对InternLM-20B系列模型的支持，包括LoRA、QLoRA以及全参数微调等功能。同时，集成了DeepSpeed ZeRO训练优化技术，可以进一步优化大规模深度学习模型的训练过程，提高训练效率。

Colab

全称Colaboratory，是由Google Research团队开发的一种基于云端的交互式笔记本环境。它提供免费的计算资源，包括CPU、GPU和TPU，用户可以在浏览器中编写和执行Python代码，而无需进行任何配置和安装。特别是对于机器学习、数据分析等领域的学习和实践，Colab无疑提供了极大的便利。

值得一提的是，Colab还支持轻松共享代码与合作，使得多人协作变得简单高效。另外，深度学习的实践中常常会用到GPU进行计算，Colab可以免费借用谷歌提供的高算力GPU，这大大提高了深度学习模型的训练速度。因此，无论您是一名学生、数据科学家还是AI研究员，Colab都能为您提供强大的帮助。

LMDeploy

是一个由MMDeploy和MMRazor团队联合开发的全套轻量化、部署和服务解决方案，专门针对LLM任务。这个强大的工具箱提供的核心功能中，最显著的是名为TurboMind的高效推理引擎，它是基于FasterTransformer实现的。

此外，LMDeploy还实现了GPU服务端部署，具有以下特点：

• 保障了运行速度：其吞吐量测试结果已经超过一些常见的框架。
• 支持张量并行计算：这对于运行更大型的模型至关重要。
• 可以进行多并发优化：后端服务在考虑部署成本的同时，LMDeploy不仅实现了多批量处理，还完成了kv cache的量化，从而有效地降低了单用户的成本。
• 功能全面：除了推理量化工具外，LMDeploy还在服务化方面有更多的特性

Lag大模型预训练千卡加速效率ent

Lagent是一个专为构建基于LLM（Logical Layered Modeling）的智能体所设计的轻量级框架。它的主要目标是提高开发基于这种模型的代理的效率并简化其流程。此外，Lagent不仅开源，还支持用户快速地将一个大语言模型转变为多种类型的智能体，为用户提供了一些典型工具。这个框架是由上海人工智能实验室研发的，命名来源于Language Agents的缩写。

AgentLego

AgentLego是一个开源的工具API库，主要用于扩展和增强基于大型语言模型（LLM）的智能体程序。它拥有丰富的多模态扩展工具集，包括视觉感知、图像生成和编辑、语音处理和视觉语言推理等功能。AgentLego的另一大特色在于其灵活的工具接口，用户能够根据自己的需求进行自定义配置。此外，通过统一的多模态输入输出接口，AgentLego还可以在不同的智能体系统中自动进行数据格式转换，大大提高了其在多模态应用中的灵活性和便捷性。同时，AgentLego还支持与多个主流智能体系统进行集成，如LangChain，Transformers Agent，lagent等。

大模型预训练千卡加速效率

指的是在进行大规模深度学习模型预训练时，使用一千个GPU显卡对训练速度的提高程度。据一些资料显示，当使用的GPU数量从8张扩展到1000张时，其训练效率可以达到92%。

然而，我们需要注意的是，虽然增加批量大小可以提高训练效率，但过大的批量大小可能会导致算法收敛变慢，需要更多的迭代才能使得算法收敛。因此，这就需要我们在实际应用中根据数据规模和硬件条件来灵活设置批量大小。

此外，现代预训练Transformer模型展示了高效训练的发展，包括模型结构的改进和高效训练技术的应用。例如，近期的一些研究用全球40年的天气数据，用200张GPU卡进行预训练，2个月左右的时间，训练出了参数量达亿级的气象大模型。这都进一步证明了大模型预训练千卡加速效率的潜力。

SFT

即有监督微调（Supervised Fine-tuning），是一种深度学习技术，主要应用于调整预训练好的语言模型使其更适应某一特定任务。在这个过程中，模型的权重会根据与真实标签的差异进行调整，其目的是让模型能够捕捉到标签数据中特定于某一任务的模式和特点，从而使模型的预测结果更加精确，更好地适应某一特定任务。

SFT的过程通常包括三个步骤：首先，使用预训练好的语言模型生成输出；然后根据输出与实际标签之间的差距来微调模型参数；最后，通过解码操作得到最终的预测结果。以一个实例来说明，假如你有一个已经预训练好的语言模型，当输入一段文本“我不能登录我的账号，我该怎么办？”时，模型会生成一系列输出，接着根据这些输出与实际情况的差距对模型进行微调，并通过解码操作获取最终的解决方案。

此外，SFT也是生成模型GPT的核心步骤之一。在源数据集上预训练一个神经网络模型后，会在目标数据集上复制和微调模型的参数。这种微调方式使得模型能够适应各种不同的任务，并提高模型的性能。

ModelScope

是一个开源的模型即服务共享平台，致力于为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，以简化模型的应用过程。这个平台主要针对刚接触人工智能或深度学习的开发者，让他们能够轻松上手。ModelScope汇集了行业领先的预训练模型，旨在降低开发者的重复研发成本，并提供更加绿色环保、开源开放的AI开发环境。在ModelScope社区中，用户可以在ModelHub中托管自己的模型，实现简单的存储、发现和共享。同时，也提供了丰富的数据集内容，覆盖自然语言处理、计算机视觉、语音和多模态等领域。此外，ModelScope创空间还提供更加灵活的AI应用展示空间，介绍了如何基于Gradio等组件快速搭建AI应用。

Deorder-only

是一种基于深度学习的自然语言处理技术，它可以将输入的句子或段落重新排列成一个Deorder-only是一种基于深度学习的自然语言处理技术，它可以将输入的句子或段落重新排列成一个不同的顺序，但仍然保持其语义和语法的正确性。这种技术可以用于生成多样化的文本输出、提高机器翻译的质量以及改善问答系统的准确性等应用场景中。

Deorder-only的核心思想是利用神经网络模型来学习句子中每个单词之间的关系，并基于这些关系对句子进行重新排列。具体来说，它通过使用一种称为“注意力机制”的技术来识别哪些单词对句子的意义最重要，然后根据这些信息重新排列单词的顺序。这种方法可以生成与原始输入相似但不完全相同的句子，从而提高了文本的多样性和可读性。

目前，deorder-only技术已经广泛应用于自然语言处理领域，例如机器翻译、问答系统、文本摘要等任务中。

Transformer模型

是一种基于注意力机制的深度学习架构，由论文《Attention is All You Need》提出。它打破了传统卷积网络的垄断，以其独特的网络结构吸引了大批人员进行研究改进。Transformer能够同时处理句子中的所有词，任意两个词之间的操作距离都是1。

在具体的结构上，Transformer主要由自注意力机制、位置Embedding、全连接神经网络和层归一化四部分组成。其中，自注意力机制是Transformer的核心部分，负责对输入序列中的所有单词进行编码，从而获得每个单词的语义信息；位置Embedding用于记录每个单词的位置信息，以便于后续处理； 全连接神经网络和层归一化则用于对自注意力机制输出的结果进行处理和优化。

值得一提的是，Transformer在许多领域都有广泛的应用，如机器翻译、文本生成、语言模型迁移等。例如，大热的BERT模型就是基于Transformer构建的。

BERT模型

BERT模型，全称为Bidirectional Encoder Representations from Transformers，是一种基于预训练语言模型的双向语言模型。它主要利用了Masked Language Model和Previous Sentence Prediction的方法进行预训练，这种预训练的方式可以生成深度的双向语言表征。

在具体的结构上，BERT模型主要由两部分组成：Encoder和Decoder。其中，Encoder部分采用的是Transformer的encoder侧的网络，通过双向的Attention机制解决了NLP中的长期依赖问题。同时，BERT模型还具有很好的可迁移性，在多种NLP任务中表现出惊人的成绩。

CNN、RNN、BiRNN、LSTM、GRU

卷积神经网络（Convolutional Neural Network, CNN）是一种深度学习模型，广泛应用于图像识别和分类等任务。CNN的主要特点是可以自动学习和提取图像中的特征，从而避免了手动设计特征的过程。

循环神经网络（Recurrent Neural Network, RNN）是一种处理序列数据的神经网络。RNN的特点是具有记忆功能，可以处理任意长度的序列数据，因此在自然语言处理、语音识别等领域有着广泛的应用。

双向循环神经网络（Bidirectional RNN, BiRNN）是RNN的一种变体，它可以同时处理过去和未来的信息，因此在一些需要理解上下文的任务中表现出了更好的性能。

长短时记忆网络（Long Short-Term Memory, LSTM）是一种特殊的RNN，它通过引入门控机制解决了长序列训练过程中的梯度消失和梯度爆炸问题，因此在处理长序列数据时表现出了优秀的性能。然而，LSTM的每一个时刻（每一层LSTM）都需要处理4个全连接层，计算量较大。

门控循环单元（Gated Recurrent Unit, GRU）是另一种特殊的RNN，它比LSTM更为简单，只有两个门控机制。GRU在处理序列数据时同样具有较好的性能，且计算量较小。