第三期书生大模型实战营 第1关 书生大模型全链路开源体系

书生*浦语大模型开源历程：

2024年1月17日 InterLM 2 开源

书生·浦语2.0（InternLM2）介绍

InternLM2模型面向不同的使用需求开源了多种参数量的模型。

7B为轻量级的研究和应用提供了一个轻便但性能不俗的模型
20B模型的综合能力更为强劲，可有效支持更加复杂的实用场景
在不同的参数量模型之中又进一步划分为了三类

InternLM2-Base 高质量和强可塑性的基座模型，适用于对模型进行领域深度适配
InternLM2 在Base基础上进行多方向强化，在保持很好的通用语言能力的基础上提升了模型在各类评测中的成绩。
InternLM2-Chat 在Base基础上面向对话交互进行了优化，具有很好的指令遵循、共情聊天和调用工具等能力

主要亮点
五个主要特点：

超长上下文，模型在20万token上下文中，几乎完美实现‘大海捞针’
综合性能全面提升
优秀的对话和创作体验
工具调用能力整体升级
突出的数理能力和实用的数据分析功能

书生·浦语2.0–全链条开源开放体系

具体包括以下六大部分：

数据：强调拥有2TB的数据，这些数据涵盖了多种模态与任务，为后续的开发和应用提供了丰富的资源。
预训练：提到了“InternLM-Train”工具，它支持并行训练，且在极致优化的情况下，速度可以达到每秒3600 tokens/sec/gpu。
微调：介绍了一个名为“XTuner”的工具，它支持全参数微调和低成本微调，特别适合于LoRA等方法。
部署：展示了“LMDeply”工具，它强调在全链路上部署，性能领先，并能每秒生成超过2000个token。
评测：提及了“OpenCompass”工具，这是一个全方位的评测平台，能对性能进行可视化和复现，并提供了100套评测集和50万道题目。
应用：最后是关于如何使用这套体系，其中提到了“Lagent”和“AgentLego”，它们支持多种智能体，并可借助代码解释器等多种工具来促进应用的发展。

开放高质量语料数据

主要介绍了两个版本的数据库系统：“书生·万卷1.0”和“书生·万卷CC”。

“书生·万卷1.0”是一个开放的高质量语料数据库，于2023年8月14日发布，总数据量为2TB，包含了5亿个文档、超2,200万个文件和超过140GB的数据量。它提供了文本数据、图像-文本数据集和视频数据，并支持多模态融合，如图文、音视频等多模态数据。此外，还强调了其精细化的处理能力，例如通过语言筛选、模式标准化等手段来提高数据的质量和准确性。最后，提到了在构建过程中注重研究人员的参与，以确保数据的内容和质量。
“书生·万卷CC”则是在“书生·万卷1.0”的基础上进行了升级，具有更高的安全性、信息密度和数据质量。它从90个dumps的1300亿份原始数据中提取了1.38%的内容，来源丰富多样。该版本还采用了四重“萃取”技术，对原始数据进行多项预处理，从而提高了信息密度。此外，万卷CC作为IntermLMM2的预训练语料，在不同数规模上取得了性能上的显著提升。最后，还提到了万卷CC作为训练数据的模型在多项验证中取得了更优的效果。

预训练

具体内容包括：

高可扩展性：支持从8卡到千卡训练，千卡加速效率达92%。
极致性能优化：Hybrid Zero独特技术+极致优化，加速50%。
兼容主流：无缝接入HuggingFace等技术生态，支持各类轻量化技术。
开箱即用：支持多种规格语言模型，修改配置即可训练。
训练算法：预训练、微调；
训练优势：高性能Transformer计算库、多种并行策略；
通信/计算调度：梯度累积算法选择、通信/计算重叠；
显存管理：优化器状态、梯度、参数。

微调

两种微调方式：

增量续训：让基座模型学习到一些新知识，如某个垂类领域知识。训练数据包括文章、书籍和代码等。
有监督微调：让模型学会理解各种指令进行对话，或者注入少量领域知识。训练数据为高质量的对话和问答数据。
XTuner微调

全链条开源开放体系：强调了微调作为核心组件的重要性。
高效微调框架XTuner：详细描述了XTuner的各个组成部分及其功能，包括任务类型、数据格式、训练引擎、优化加速和支持算法等。
适配多种生态：提到了XTuner如何适应不同的生态系统，如HuggingFace、ModelScope和数据集。
支持多种硬件：指出XTuner可以在多种硬件平台上运行，特别是NVIDIA的显卡，并特别强调了最低只需8GB显存即可微调7B模型。

评测–OpenCompass

OpenCompass是一个支持多种编程语言的开源评测框架，提供了稳定可靠的评测镜像和多维度性能对比功能。
它与南京大学合作推出了大规模司法能力评测基准，为法律领域的AI模型评估提供了标准。
此外，还发布了多模态评测工具套件，支持多种商业模型的评测，增强了其在实际应用中的实用性。

部署–LMDploy

主要介绍了LMDepoly框架，它是一个开源的解决方案，用于在GPU上部署大规模模型。该框架提供了完整的流程，包括模型轻量化、推理和服务。主要内容包括：

高效推理引擎，具有持续批处理技巧、深度优化的低比特计算kernels、模型并行以及高效的K/V缓存管理机制。
完备易用的工具链，涵盖量化、推理、服务全流程，支持无缝对接OpenCompass进行评测，并提供了多维度的推理速度评测工具。
支持交互式推理，分为非交互式和交互式两种模式。

智能体

全链条开源开放体系中的智能体——轻量级智能体框架Lagent。该框架支持多种类型的智能体能力，包括ReAct、ReWoo和AutoGPT等。这些智能体可以通过输入选择工具、计划拆分、执行工具和结束条件来完成任务。此外，该框架还提供了灵活支持多种大语言模型，如GPT-3.5/4、Hugging Face Transformers和LLama等。同时，它也简单易拓展，支持丰富的AI工具、能力拓展和Rapid API，如文生图、搜索、出行API、计算器、财经API、图片描述、代码解释器和体育资讯API等。