大模型全链路开源开放体系（学习笔记）

目前国内一些大模型厂商提供了从数据、预训练、微调、部署、评测和应用，全链路的开源开放产品，为中国大模型的推广、普及和发展起着推动作用。以书生·浦语大模型为例，做下介绍，供读者在学习大模型知识和技术时参考。

一、书生·浦语大模型开源历程

2023年6月7日，发布浦语系列首个千亿参数模型。

2023年7月6日，InternLM-7B开源并免费商用，同时发布全链条开源工具体系。

2023年9月20日，InternLM-20B开源，开源工具链进行全线升级。

2023年9月27日，开源书生·浦语灵笔（InternLM-XComposer），这是首个支持图文混合创作的大模型。

2024年1月17日，开源InternLM2，其性能超过当时最新同量级开源模型。

2024年1月23日，发布InternLM2-Math，这是首个同时支持形式化数学语言及解题过程评价的开源模型。

2024年1月29日，发布书生·浦语灵笔2（InternLM-XComposer2），支持个性化高质量图文创作和对话。

2024年5月24日，开源InternLM2-Math-Plus，刷新开源数学模型性能上限。

2024年6月4日，开源InternLM2-WQX，这是一个200亿参数量的语言模型，在2024年高考中取得接近GPT-4o的成绩。

2024年7月，开源InternLM 2.5。

二、书生·浦语大模型开源工具链体系

标准化的开源工具链算法库，覆盖了从数据、模型预训练到评测的全链条流程。

1.数据：书生·万卷

首个精细处理的开源多模态语料库

2.预训练：InternEvo

性能超过国际主流训练框架DeepSpeed。

3.微调：Xtuner

多种微调和偏好对齐算法支持干亿参数+百万上下文。

4.部署：LMDeploy

性能超过国际主流推理框架vllm。

5.评测：OpenCompass

社区最全面的开源评测体系。

6.应用

MindSearch：思索式开源搜索应用

Lagent：首个支持代码解释器的智能体框架

MinerU：高效文档解析工具

HuixiangDou：基于专业知识库的群聊助手

书生·浦语大模型开源工具与社区生态无缝连接，如HuggingFace、VLLM、LLaMA、TensorRT-LLM、LMStudio、LLaMA-Factory、Llamalndex、LangChain、ollama、MLX、llamafile、Swift等。

三、书生·浦语大模型核心技术思路

1.高质量合成数据

融合多种数据合成方案，提升合成数据质量。方案包括基于规则的数据构造、基于模型的数据扩充和基于反馈的数据生成等。

2.领先的推理能力

InternLM 2.5推理能力相比上一代大幅提升，领先同量级开源模型。

3.100万Token上下文

测试表明：InternLM2.5-7B大海捞针效果很好。

4.基于规划和搜索解决复杂问题

书生·浦语 2.5与人的解决思路类似，如用户需求、问题分析、思维路径拆解、调用外部工具、内容整合、问题回复等。