书生实战训练营基础岛-书生大模型全链路开源体系

全链路开源体系介绍

一、书生浦语大模型开源历程

2023年6月7日InternLM千亿参数语言大模型发布。
2023年7月6日，InternLM千亿参数大模型全面升级，支持8K语境、26种语言，并全面开源，免费商用。
2023年8月14日，书生万卷1.0多模态预训练语料库开源发布。
2023年8月21日，升级版对话模型InternLM-Chat-7B v1.1发布，同时开源智能体框架Lagent，支持从语言模型到智能体升级转换。
2023年8月28日，InternLM千亿参数模型参数量升级到123B。
2023年9月20日，增强型InternLM-20B开源，开源工具链全线升级。
2024年1月17日，InternLM2开源。

二、InternLM2的分类

按规格分类：有7B和20B两种模型
7B：为轻量级的研究和应用提供了一个轻便但性能不俗的模型
20B：模型的综合性能更为强劲，可有效支持更加复杂的使用场景
其中InternLM2在Base基础上，在多个能力方向进行了强化。而Chat版本则是在Base基础上，经过SFT和RLHF，面向对话交互进行了优化，具有很好的指令遵循，共情聊天和调用工具等能力

三、书生浦语2.0主要亮点

书生浦语2.0在超长上下文、综合性能、对话和创作体验、工具调用能力以及数理能力和数据分析功能等方面都有显著优势。其中，InternLM2-Chat-20B在重点评测上甚至可以达到比肩ChatGPT GPT3.5水平。

四、从模型到应用

书生浦语全链条开源开放体系包括数据、预训练、微调、部署、评测和应用等方面。这些环节的不断完善和优化，使得书生浦语大模型能够更好地服务于各种应用场景。

、

1、数据

书生·浦语大模型的数据集名为"书生·万卷"，发布日期 2023 年 8 月 14 日。它是一个包含1.6万亿token的多语种高质量数据集，涵盖多种模态和任务。包含文本数据（50 亿个文档，数据量超 1TB），图像-文本数据集（超 2200 万个文件，数据量超 140GB），视频数据（超 1000 个文件，数据量超 900GB）。这个数据集为模型的训练提供了丰富的语言信息和知识基础。

2、预训练

书生·浦语大模型使用了InternLM-Train进行预训练。InternLM-Train是一个基于Transformer架构的预训练模型，它具有1040亿参数，通过在书生·万卷数据集上进行训练，使模型具备了强大的语言理解和生成能力。它支持从 8 卡到千卡训练，千卡训练效率达 92%；无缝接入 HuggingFace 等技术生态，支持各类轻量化技术。

3、微调

为了进一步提升模型的性能和适应特定任务，上海人工智能实验室开发了XTuner微调框架。XTuner可以根据不同的任务需求，对大模型进行微调，使其在特定领域或任务上表现更加优秀。它具有以下特点：

支持多种任务类型，如增量预训练，指令微调，工具类指令微调

支持全量参数、LoRA、QLoRA 等低成本微调，覆盖各类 SFT 场景

支持多种大语言模型的微调，如 InternLM, Llama, QWen, BaiChuan, ChatGLM，适配多种开源生态，支持加HuggingFace、ModelScope 模型或数据集

支持自动优化加速，如 Flash Attention, DeepSpeed ZeRO, 使得开发者无需关注复杂的现存优化与计算加速细节

支持多种硬件，覆盖 NVIDIA 20 系以上所有显卡，最低只需 8GB 现存即可微调 7B 模型

支持多种数据格式，如 Alpaca, MOSS, OpenAI, Guanacao 等等。

在模型应用方面，开发LMDeploy部署框架。

LMDeploy提供大模型在 GPU 上部署的全流程解决方案，包括模型轻量化、推理和服务。可以将大模型快速部署到各种计算平台上，实现模型的实时推理和应用。

接口支持：Python, GRPC, RESTful
量化支持：4bit 、8bit
推理引擎：turbomind, pytorch
服务：openai-server, gradio, triton inference server
————————————————

                        版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/weixin_46836850/article/details/140681954
————————————————