【InternLM 实战营第二期笔记】第一节

【InternLM 实战营第二期】第一节 笔记

第一节 书生·浦语大模型全链路开源体系

1. 大模型成为发展通用人工智能的重要途径

• 专用模型：针对特定任务，一个模型解决一个问题。

• 通用模型：一个模型应对多种任务、多种模态。

2. 书生浦语2.0(InternLM2)的体系

面向不同的使用需求，每个规格包含三个模型版本。

• 按使用需求的规格分类

  • 7B：为轻量级的研究和应用提供了一个轻便但性能不俗的模型。

  • 20B：模型的综合性能更为强劲，可有效支持更加复杂的使用场景。

• 根据需求的三个模型版本

  • InternLM2-Base：高质量和具有很强可塑性的模型基座，是模型进行深度领域适配的高质量起点。

  • InternLM2：在Base基础上，在多个能力方向进行了强化，在评测中成绩优异，同时保持了很好的通用语言能力，是我们推荐的在大部分应用中考虑选用的优秀基座。

  • InternLM2-Chat：在Base基础上，经过SFT和RLHF，面向对话交互进行了优化，具有很好的指令遵循，共情聊天和调用工具等能力。

3. 书生浦语2.0（InternLM2）主要亮点

• 超长上下文：模型在20万token上下文中，几乎完美实现“大海捞针”。

• 综合性能全面提升：推理、数学、代码提升显著InternLM2-Chat-20B在重点评测上比肩ChatGPT。

• 优秀的对话和创作体验：精准指令跟随，丰富的结构化创作，在AlpacaEval2超越GPT3.5和Gemini Pro。

• 工具调用能力整体升级：可靠支持工具多轮调用，复杂智能体搭建。

• 突出的数理能力和使用的数据分析功能：强大的内生计算能力，加入代码解释后，在GSM8K和MATH达到和GPT-4相仿水平。

4. 性能全方位提升

   工具调用能力升级

   强大内生计算能力

   代码解释器：更上一层楼

5. 从模型到应用

   典型流程
   

6. 书生浦语全链条开源开放体系

   

• 数据：开放高质量语料数据
  

• 预训练
  

• 微调

  大语言模型的下游应用中，增量续训和有监督微调是经常会用到两种方式。

  • 增量续训
    使用场景：让基座模型学习到一些新知识，如某个垂类领域知识。

    训练数据：文章、书籍、代码等。

  • 有监督微调
    使用场景：让模型学会理解各种指令进行对话，或者注入少量领域知识。

    训练数据：高质量的对话、问答数据。

  

• 评测
  

• 部署
  

8. 智能体