基础岛任务--汇总帖

TL;DR

• 书生·浦语第三期训练营基础岛每个任务的具体要求参考https://github.com/InternLM/Tutorial/tree/camp3/docs/L1各子目录readme.md
• 这是一个汇总帖（部分任务的细节帖晚点补😅）
  • 部署/微调体验等基操任务只贴了重要过程/最终结果截图
  • 复现要求较高的任务贴了Notebook截图

任务1：书生大模型全链路开源体系–视频笔记

视频链接：书生 · 浦语大模型全链路开源开放体系

slogan: 以持续的高质量开源赋能创新

▶ 01:09 书生浦语开源之路

• 2023.7.6 InternLM-7B
• 2023.9.20 InternLM-20B
• 2024.1.17 InternLM2
• 2024.7.4 InternLM2.5
• ▶ 02:51 InternLM 系列 性能天梯

▶ 03:25 InternLM2.5 概览

• ▶ 07:16 模型自身推理能力提升 20%

  • ▶ 07:45 示例：Markdown 表格解析

• 支持 100w 上下文

  • ▶ 08:06 大海捞针实验

• ▶ 10:27 基于外部工具，自主规划和搜索完成复杂任务，效率提升 60 倍

  • ▶ 11:38 MindSearch 实战截图

▶ 04:44 模型能力飞轮

• ▶ 05:33 高质量合成数据

  • 基于规则的数据构造：半结构数据
  • 基于模型的数据扩充

• ▶ 05:56 基于人类反馈的数据训练

• ▶ 06:33 open data lab 方便的 NLP 任务、排序任务进行标注

▶ 12:14 书生浦语开源模型谱系

• ▶ 12:55 视频作者实测体验，20B 模型才开始真的出现涌现的能力，更小尺寸的更多感觉是基于已有资料的检索

• InternLM-XComposer: 多模态

• 102B 模型暂未开源

▶ 14:00 全链路工具

• ▶ 17:19 书生万卷：多模态语料库

• ▶ 19:04 InternEvo：预训练；显存优化 + 支持分布式训练

• ▶ 19:38 XTuner：微调

  • 多种微调算法：QLoRA /LoRA / 全参
  • 适配多种开源生态：支持加载 HugginFace、ModelScope 模型或数据集
  • 数据格式：Alpaca/MOSS/OpenAI/…
  • 自动优化加速：Flash Attention/DeepSpeed ZeRO/Pytorch FSDP/Sequence Parallel
  • 训练方案覆盖 nvidia 20 系以上所有显卡
  • 任务类型: 增量预训练 / 指令微调 / 多模态微调 / Alignment
  • ▶ 21:31 微调性能评测

• ▶ 23:15 LMDeploy：部署, 类 vLLM

  • ▶ 24:09 部署性能评测

• ▶ 22:15 OpenCompass：评测

• 应用

  • ▶ 24:15 Lagent：智能体框架, 类 LangChain
    • 集成了 ReAct/ReWoo/AutoGPT
  • ▶ 17:48 数据处理工具箱
    • Miner U: 直接从 PDF / 电子书 / 网页智能提取内容
    • LabelLLM: 专业致力于 LLM 对话标注
    • Label U: 支持图片、视频、音频多种数据标注
  • ▶ 26:12 MindSearch：大模型 + 搜索, 类 Perplexity
  • ▶ 27:22 HuixiangDou：知识库群聊助手
    • 免费商用
    • 7 种文档格式、热更新
    • 最低仅需 2G 显存
    • 扩展性强：支持 2 类 IM 软件，9 个 LLM 接口

任务2：8G 显存玩转书生大模型 Demo

Cli Demo 部署 InternLM2-Chat-1.8B 模型

官方教程：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/Demo/easy_readme.md
官方参考教程是用命令行方式测试模型的，个人倾向于用Notebook

Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型

LMDeploy 部署 InternLM-XComposer2-VL-1.8B 模型

LMDeploy 部署 InternVL2-2B 模型

任务3：浦语提示词工程实践

官方教程：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/Prompt

任务4：InternLM + Llamalndex RAG实践

官方教程：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/LlamaIndex
蹭一波黑神话悟空热度😄

任务5：XTuner微调个人小助手认知

官方教程：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner

过程截图–终端

过程截图–目录结构

过程截图–微调结果

【过程截图–终端】一节中设置的用户名称是「夜猫」，从下图运行结果看，模型已经get用户名为「夜猫」

任务6：OpenCompass评测InternLM-1.8B实践

官方教程：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/OpenCompass/readme.md

运行过程截图

OpenCompass评测结果