第三期书生大模型实战营_书生大模型全链路开源开放体系介绍

第三期书生大模型实战营_书生大模型全链路开源开放体系介绍

InternLM2

InternLM 2是一种开源的LLM，通过创新的预训练和优化技术，在6个维度和30个基准上表现优异，尤其是在长上下文建模和开放式主观评估方面。预训练过程涉及多种数据类型，并逐步扩展上下文长度，从最初的4k token到32k token。
通用大模型：一个模型对应多种任务、多种模态。

数据：2TB数据，涵盖多种模态与任务

预训练：InterLM-Train，并行训练，极致优化

微调：XTuner，支持全参数微调，支持LoRA等低成本微调

部署：LMDeploy，全链路部署，每秒生成2000+ tokens

评测：OpenCompass，性能可浮现100套评测级，50w的题目

应用：LagentAgentLego，支持多种智能体，支持代码解释器多种工具

链接: link.

图片: 发展史

InternLM的体系

InternLM2主要亮点

书生浦语全链条开源开放体系

预训练

XTuner 微调 高效微调框架

全链条开源开放体系 评测

部署