书生·浦语大模型全链路开源体系（陈恺|上海人工智能实验室 青年科学家）-听课笔记

• 大模型重要性

大模型确实已成为发展通用人工智能（AGI）的重要途径。它们通过整合和处理大量数据，学习语言、图像、声音等多种模式的表示，以此来模拟人类的学习和思维方式。通过不断地学习和优化，这些模型能够在各种任务中表现出越来越高的智能水平，例如自然语言理解、图像识别、策略制定等。大模型的发展涉及到算法创新、计算资源的大规模部署、数据的高效管理等多个方面，是推动人工智能进步的关键因素之一。

书生-浦语大模型开源历程

书生·浦语大模型系列

1.轻量级：InternLM-7B
70亿模型参数
1000亿训练token数据
长语境能力，支持8K语境窗口长度
通用工具调用能力，多种工具调用模板

2.中量级：InternLM-20B
200亿模型参数，在模型能力与推理代价间取得平衡
采用深而窄的结果，降低推理计算量但提高推理能力
4K训练语境长度，推理时可外推至16K

3.重量级：1230亿模型参数，强大的性能
极强推理能力、全面的知识覆盖面、超级理解能力与对话能力
准确的API调用能力，可实现各类Agent

书生·浦语大模型性能评测

“书生·浦语”联合团队选取了20余项评测对其进行检验，其中包含全球最具影响力的四个综合性考试评测集：由伯克利加州大学等高校构建的多任务考试评测集MMLU；微软研究院推出的学科考试评测集AGIEval（含中国高考、司法考试及美国SAT、LSAT、GRE 和 GMAT等），AGIEval的19个评测大项中有9个大项是中国高考，通常也列为一个重要的评测子集AGIEval（GK）；由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集C-Eval；以及由复旦大学研究团队构建的高考题目评测集Gaokao。