目录
1 InterLM简介
InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练,InternLM 基座模型具有较高的知识水平,在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀,在多种面向人类设计的综合性考试中表现突出。在此基础上,通过高质量的人类标注对话数据结合 RLHF 等技术,使得 InternLM 可以在与人类对话时响应复杂指令,并且表现出符合人类道德与价值观的回复。
2 书生·浦语大模型开源历程
2023.06.07 发布千亿参数大语言模型InternLM
2023.07.06 支持8k语境,26种语言,全面开源、免费商用,InternLM-7B、全链条开源体系
2023.08.14 书生·万卷1.0,多模态预训练语料库发布
2023.08.21 InternLM-Chat-7B v1.1发布,开源智能体框架lagent
2023.08.28 参数量升级至123B
2023.09.20 增强版InterLM-20B开源,开源工具链全线升级
……
3 书生·浦语20B开源大模型性能
官方的评测分数如上图,可以看出模型用Llamm2-70B三分之一的参数量达到了几乎不逊的性能。
4 书生·浦语全链条开源开放体系
4.1 数据
书生·万卷,包括2TB数据,涵盖多种模态和多种任务、OpenDataLab:
4.2 预训练
InternLM-Train,速度达到3600tokens/sec/gpu:
4.3 微调
XTuner,支持全参数、LoRA等低成本微调:
4.4 部署
LMDeploy,全链路部署,每秒生成2000+tokens:
4.5 评测
OpenCompass,80套评测集,40w+题目:
4.6 应用
Lagent、AgengLego,支持多种智能体,代码解释器等多种工具: