InternLM第1节课笔记

书生·浦语大模型全链路开源体系

数据

书生·万卷1.0，OpenDataLab

2TB文本、图像-文本、视频数据。精细化处理（过滤+清晰），价值观对齐。

预训练

InternLM-Train

高可扩展：8卡-千卡

兼容主流：支持HuggingFace

微调

XTuner：自动优化加速、适配多种开源生态，显存优化

增量续训

有监督微调

部署

LMDeploy

接口：Python，gRPC，RESTful

轻量化：4、8bit

推理引擎：turbomind，pytorch

服务：openai-server，gradio，triton inference server

持续批处理

评测

OpenCompass

应用

Lagent AgentLego多模态智能体工具箱

多种类型智能体

支持多种大语言模型