第一课-书生·浦语大模型全链路开源体系

第一课：书生·浦语大模型全链路开源体系

书生·浦语 InternLM
InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。

一、大模型发展时间线

二、书生·浦语大模型开源历程

三、书生·浦语大模型系列

1.轻量级：InternLM-7B，70亿模型参数，小乔轻便，社区低成本可用最佳模型规模
2.中量级：InternLM-20B，200亿参数量，在模型能力与推理代价间取得平衡，商业场景可开发定制高精度较小模型规模​
3.重量级：InternLM-123B，1230亿模型参数，强大的性能，通用大语言模型能力全面覆盖千亿模型规模

四、从模型到应用

具体流程为：
当算力足够时，可以全参数微调；当算力不够时，可以部分参数微调，以构建适合自己的智能体。

全链路开源开放体系：

1.数据：书生·万卷

2.预训练：InternLM-Train

3.微调：XTuner

4.部署：LMDeploy

5.评测：OpenCompass

6.应用：Lagent AgentLego

InternLM:

https://github.com/InternLM/InternLM

视频链接