书生浦语-全链条笔记

InternLM2模型

InternLM2有三个版本，可以根据不同的需求选择作为基础模型。

• InternLM2-Base：基础中的基础，另外两个版本基于该版本进行强化
• InternLM2：核心版本，进行了一定的优化，官方推荐的基础模型
• InternLM2-Chat：针对对话进行了优化，适合智能客服等对话场景
  InternLM2模型考虑到了算力，分为7b和20b两个版本，前者便于体验，后者性能强大。

基于InternLM2的开发流程

1. 选取基座模型
2. 根据业务场景选择是否微调
   1. 微调：
      1. 算力足够选择全参数/接续训练
      2. 不足则进行部分参数微调，如LoRA。
   2. 根据是否需要与环境交互，选择是否构建智能体
3. 评测通过后部署

InternLM2的全流程开源体系

• 数据开源
  • 开源语料数据。经过清洗和评估后的优秀语料数据，书生 万卷1.0和cc
  • 下载网址：https://opendatalab.org.cn
• 训练开源
  • 高扩展支持，8-1k卡，加速效率高达92%
  • 性能优化：多种优化技术，加速训练50%
  • 兼容多个社区生态，各类轻量化技术
  • 开箱即用
• 微调算法开源：XTuner
  • 支持多种微调算法：LoRA等
  • 支持增量续训
  • 支持自动优化加速，适配多种硬件，甚至8gb即可微调7b模型
• 全方位开源评测：OpenCompass司南大模型评测体系
  • 开源榜单
  • 开源评测工具：CompassKit
  • 建立评测基准社区：CompassHub
• 应用工具开源：
  • LMDeploy
    • 提供大模型全流程部署解决方案，从轻量化到推理和服务
    • 高效的推理引擎
    • 完备的工具链，无缝衔接OpenCompass
    • 支持交互式推理
  • 智能体框架
    • 支持多种智能体能力
    • 支持多种大语言模型
    • 工具丰富
    • AgentLego：丰富的多模态智能体工具集，灵活接口，一键式部署使用和调试