书生大模型全链路开源体系学习记录（InternLM）

        书生浦语大模型已经进行了全链路打通，包括：

        数据收集整理、数据标注、模型训练、微调参数、模型评测再到基于模型AI应用部署都进行了方案实现并开源。

        发展历程：

[2024.08.01] 发布了 InternLM2.5-1.8B、InternLM2.5-1.8B-Chat、InternLM2.5-20B 和 InternLM2.5-20B-Chat。可以在下方的 模型库 进行下载，或者在 model cards 中了解更多细节。

[2024.07.19] 发布了 1.8B、7B 和 20B 大小的 InternLM2-Reward 系列奖励模型。可以在下方的 模型库 进行下载，或者在 model cards 中了解更多细节。

[2024.06.30] 发布了 InternLM2.5-7B、InternLM2.5-7B-Chat 和 InternLM2.5-7B-Chat-1M。可以在下方的 模型库 进行下载，或者在 model cards 中了解更多细节。

[2024.03.26] 发布了 InternLM2 的技术报告。 可以点击 arXiv链接 来了解更多细节。

[2024.01.31] 发布了 InternLM2-1.8B，以及相关的对话模型。该模型在保持领先性能的情况下，提供了更低廉的部署方案。

[2024.01.23] 发布了 InternLM2-Math-7B 和 InternLM2-Math-20B 以及相关的对话模型。InternLM-Math以较小的尺寸超过了ChatGPT的表现。可以点击InternLM-Math进行下载，并了解详情。

[2024.01.17] 发布了 InternLM2-7B 和 InternLM2-20B 以及相关的对话模型，InternLM2 在数理、代码、对话、创作等各方面能力都获得了长足进步，综合性能达到开源模型的领先水平。可以点击下面的模型库进行下载或者查看模型文档来了解更多细节.

[2023.12.13] 更新了 InternLM-7B-Chat 和 InternLM-20B-Chat 模型权重。通过改进微调数据和训练策略，新版对话模型生成的回复质量更高、语言风格更加多元。

[2023.09.20] InternLM-20B 已发布，包括基础版和对话版。

InternLM2.5 20B模型性能已与GPT4性能齐平

        书生浦语2.5模型的一点优势：

一、推理能力领先，综合推理能力领先社区开源模型，相比前代也提升百分之二十

二、支持百万字长文理解与精确处理

三、能够自主规划和搜索完成复杂任务

        模型训练是基于一个迭代的过程，通过当前模型进行智能评估过滤数据生成预训练数据从而得到更好模型，加速能力提升。（数据质量推动模型性能）

        合成数据融合多种方式：基于规则的数据改造、基于模型的数据扩充、基于反馈的数据生成

        100万超长上下文能力是未来替代RAG的方向

        解决问题的流程模拟人解决思路，提出需求、规划器进行问题分析拆解和整合、最后问题回复，期间包括检索器的工作进行浏览精读。

        全链条开源！（爽了）：

数据：书生万卷

预训练：InternEvo（性能超过国际主流框架DeepSpeed）

微调：XTuner

部署：LMDeploy（性能超过国际主流推理框架vllm）

评测：OpenCompass

应用：MindSearch、Lagent、MinerU、HuixiangDou

        InternLM 代码库是一款由上海人工智能实验室和来自不同高校、企业的研发人员共同参与贡献的开源项目。我们感谢所有为项目提供新功能支持的贡献者，以及提供宝贵反馈意见的用户。我们希望这个工具箱和基准测试可以为社区提供灵活高效的代码工具，供用户微调 InternLM 并开发自己的新模型，从而不断为开源社区提供贡献。

        最后奉上项目地址InternLM · GitHub