书生·浦语大模型全链路开源体系学习笔记

书生浦语大模型的开源历程如下：

1. 2021年6月，书生浦语大模型首次发布，包含26种语言，并推出免费商用的7B开源模型和全链条工具体系。

2. 2021年8月，发布书生万卷1.0多模态预训练语料库，后续发布升级版对话模型和开源智能体框架，支持英特尔M。

3. 2021年9月，发布7B迁移参数模型。

4. 2021年10月，发布书生浦语大模型2.0，面向不同使用需求提供不同尺寸和类型的模型。

5. 2021年12月，发布智能体工具箱和智能体框架，为如何使用和开发大模型提供更多可能性。

6. 2022年1月，发布open compass 2.0思南大模型评测体系。

7. 2022年3月，发布LMdeploy大模型全流程部署解决方案，支持模型轻量化和不同推理引擎。

书生浦语大模型的开源历程涵盖了从数据到预训练到微调再到部署和评测的不同环节，为开发者提供了全面的工具体系和支持。

书生浦语大模型的用途是支持多种不同规格的语言模型，可以通过修改配置进行模型的预训练和微调。在微调方面，开发了微调框架，用于在大模型的下游应用里面进行增量续讯和有监督的微调。书生葡语大模型还支持多模态的预训练语料库，以及智能体的框架来支持英特尔M。此外，书生葡语大模型还有丰富的模型推理的接入，包括数据污染检查的一些功能，常用的能力评测，以及中英文双语的一些主观评测。

书生浦语大模型在预训练和微调过程中使用了以下工具：

1. INTETRAIN：用于模型预训练的框架，支持多种不同规格的语言模型，只需修改配置即可进行模型的预训练。

2. INTEEVIL：用于模型预训练的框架，开发了x ta这样的一个微调框架，在大模型的下游应用里面，支持增量续讯和有监督的微调。

3. 增量续讯和有监督的微调：在微调方面，书生葡语大模型采用了这两种方式进行模型训练。增量续讯可以通过以这种类似预训练的方式来让模型学到一些新的知识，例如某个垂类领域的知识。有监督的微调主要是让模型学会理解各种指令来进行对话，也可以通过有监督微调方式来让模型进行对话或进行数据污染检查。

4. 智能体的框架：用于支持英特尔M的开源智能体的框架，可以进行数据污染检查、常用能力评测以及中英文双语的一些主观评测。

5. 书生浦语大模型的全链条工具体系：包括从数据到预训练到微调的全套工具，并面向社区做了开源。