书生·浦语大模型全链路开源体系-第1课

书生·浦语大模型全链路开源体系-第1课

为了推动大模型在更多行业落地应用，让开发人员更高效地学习大模型的开发与应用，上海人工智能实验室重磅推出书生·浦语大模型实战营，为开发人员提供大模型学习和开发实践的平台。
本文是书生·浦语大模型全链路开源体系-第1课的课程笔记。

相关资源

• InternLM项目地址

https://github.com/InternLM/InternLM

• InternLM2技术报告

https://arxiv.org/pdf/2403.17297.pdf

• 书生·万卷 数据

https://opendatalab.org.cn/

• 课程链接

https://www.bilibili.com/video/BV1Vx421X72D/

课程笔记

大模型已经成为发展通用人工智能的重要途经，从本世纪初到2021年左右，专用模型发展迅速。专用模型主要是针对特定的任务，一个模型主要解决一个问题，比如图像识别、语音识别、人脸识别、比赛等。

最近两年，通用大模型成为了人工智能领域的热点。通用大模型可以应对多种任务、多种模态。

2023年6月，基于千亿参数的大语言模型InternLM发布，随后全面开源、免费商用。在经过半年的快速迭代与发展，2024年1月InternLM 2开源了。

书生·浦语 2.0，面向不同的使用需求，提供了不同规格的版本。轻量级的研究和应用可以使用70亿参数的7B版本，200亿参数的20B则综合性能更为强劲，可以有效地支持更加复杂的场景。

书生·浦语 2.0的主要亮点。

性能全方位提升。

下面是书生·浦语 2.0的几个简单的使用案例。

书生·浦语 2.0 从模型到应用拥有一套典型的流程。简单场景下可以直接使用预训练的模型，复杂业务场景下可以根据算力情况对模型进行全参数微调或部分参数微调以满足场景需求。

书生·浦语 2.0 全链条开源开放体系

• 书生·万卷拥有2TB数据，涵盖了多种模态与任务
• 预训练可以使用InternLM-Train
• 微调可以使用XTuner，支持全参数微调、LoRA低成本微调
• LMDeploy可以实现全链路部署，性能领先
• OpenCompass可以实现模型的全方位测评，已被多家企业用于模型测评
• Lagent、AgentLego支持多种智能体、代码解释等

更多其它功能。

技术报告笔记

InternLM 2 是由上海人工智能实验室、商汤科技、香港中文大学以及多位研究者共同开发的开源大语言模型，在6个维度和30个基准测试中表现出色，特别是在长文本建模和开放式主观评估方面。模型采用了创新的预训练优化技术以提高性能。