internlm第一节课程笔记

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

本笔记为书生浦语大模型实战营第二期初夏专场第一节课程的笔记
视频链接
论文链接
教程链接

---

一、课程简介

课程介绍了书生浦语大模型全链路开源体系，包括大模型的发展趋势、开源历程、数据集、预训练框架、微调工具、部署解决方案、评测体系和智能体框架。

二、书生浦语大模型简介

1.书生浦语系列模型介绍

2.internLM2体系

3.internLM2独特点

1. 回归语言建模的本质，在更小的模型上取得优异的性能
   
2. 模型的优势和亮点
   
   
   
   
   
   
   

三、书生浦语全链条开源开放体系介绍

模型预训练

1. 模型微调基本方式

2. XTuner微调框架

OpenCompass大模型评测体系

1. 中立全面的性能榜单
   

2. 大模型评测全栈工具链
   

3. CompassHub高质量评测社区
   

4. 广泛应用于LLM开发企业和科研机构，受到Meta官方推荐
   

5. OpenCompass年度榜单
   

模型部署工具

1. LMDeploy
   
2. 智能体框架Lagent
   
3. 多模态智能体工具箱AgentLego
   

总结

本次课程主要介绍了书生浦语大模型的发展历程，独特优势和亮点，以及书生浦语全链路开源体系为开源做出巨大贡献。包括大模型的发展趋势、开源历程、数据集、预训练框架、微调工具、部署解决方案、评测体系和智能体框架。重点介绍了语料库构建、模型选型、微调策略、模型部署和性能评测等训练模型的关键步骤，以及全链路开源体系各部分分别有哪些作用。

论文主要介绍了使用InternetEvo，一个高效、轻量级的预训练框架，进行模型训练的过程。接着介绍了模型架构，预训练数据，预训练设置，对齐方法，模型微调，模型评测的内容。提出了条件在线RLHF来协调RLHF中遇到的各种偏好冲突。