书生大模型实战营 L1-1 书生大模型全链路开源体系

1 读书笔记

大模型已经成为发展AGI的重要途径，传统的专用模型是针对特定任务，一个模型解决一个问题，比如ImageNet竞赛中涌现的分类模型，AlphaFold等等。
而通用模型旨在利用一个模型完成All任务，对应多种模态。比如GPT4通过Prompt实现。
书生浦语大模型开源历程：从2023年6月7日的InternLM，到2024年1月17日的InternLM2开源，实际上2024 年7月3日，已经发布了InternLM2.5，有3大亮点：

• 推理能力大幅提升，领先于国内外同量级开源模型，在部分维度上甚至超越十倍量级的 Llama3-70B；
• 支持 1M tokens 上下文，能够处理百万字长文；
• 具有强大的自主规划和工具调用能力，比如可以针对复杂问题，搜索上百个网页并进行整合分析。
  InternLM2的体系：面向不同的使用需求，采用不同的规格，每个规格包括了3个模型版本。

从7B-20B，包括了Base、LM2和Chat版本。Base属于高质量、可塑性强的基准模型，适合在深度领域适配；LM2在多个能力方向强化，保持了很好的通用语言能力，更加推荐使用；Chat经过SFT、RLHF，面相对话交互进行了优化，具有很强的指令遵循、共情聊天和调用工具的能力。

回归语言建模的本质：采用新一代数据清洗过滤技术，包括多维度数据价值评估、高质量语料驱动的数据集和有针对的数据补齐。

主要亮点：

• 20W Token超长上下文
• 推理、数学和代码能力比肩GPT
• 精准指令遵循
• 可靠支持工具、复杂智能体搭建
• 强大的内生计算能力，加入了代码解释