TL;DR
- 书生·浦语第三期训练营基础岛每个任务的具体要求参考https://github.com/InternLM/Tutorial/tree/camp3/docs/L1各子目录
readme.md
- 这是一个汇总帖(部分任务的细节帖晚点补😅)
- 部署/微调体验等基操任务只贴了重要过程/最终结果截图
- 复现要求较高的任务贴了Notebook截图
基础岛任务
任务1:书生大模型全链路开源体系–视频笔记
视频链接:书生 · 浦语大模型全链路开源开放体系
slogan: 以持续的高质量开源赋能创新
- 2023.7.6 InternLM-7B
- 2023.9.20 InternLM-20B
- 2024.1.17 InternLM2
- 2024.7.4 InternLM2.5
- ▶ 02:51 InternLM 系列 性能天梯
▶ 03:25 InternLM2.5 概览
-
▶ 07:16 模型自身推理能力提升 20%
- ▶ 07:45 示例:Markdown 表格解析
-
支持 100w 上下文
- ▶ 08:06 大海捞针实验
-
▶ 10:27 基于外部工具,自主规划和搜索完成复杂任务,效率提升 60 倍
- ▶ 11:38 MindSearch 实战截图
▶ 04:44 模型能力飞轮
-
▶ 05:33 高质量合成数据
- 基于规则的数据构造:半结构数据
- 基于模型的数据扩充
-
▶ 05:56 基于人类反馈的数据训练
-
▶ 06:33 open data lab 方便的 NLP 任务、排序任务进行标注
▶ 12:14 书生浦语开源模型谱系
-
▶ 12:55 视频作者实测体验,20B 模型才开始真的出现涌现的能力,更小尺寸的更多感觉是基于已有资料的检索
-
InternLM-XComposer: 多模态
-
102B 模型暂未开源
▶ 14:00 全链路工具
-
▶ 17:19 书生万卷:多模态语料库
-
▶ 19:04 InternEvo:预训练;显存优化 + 支持分布式训练
-
▶ 19:38 XTuner:微调
- 多种微调算法:QLoRA /LoRA / 全参
- 适配多种开源生态:支持加载 HugginFace、ModelScope 模型或数据集
- 数据格式:Alpaca/MOSS/OpenAI/…
- 自动优化加速:Flash Attention/DeepSpeed ZeRO/Pytorch FSDP/Sequence Parallel
- 训练方案覆盖 nvidia 20 系以上所有显卡
- 任务类型: 增量预训练 / 指令微调 / 多模态微调 / Alignment
- ▶ 21:31 微调性能评测
-
▶ 23:15 LMDeploy:部署, 类 vLLM
- ▶ 24:09 部署性能评测
-
▶ 22:15 OpenCompass:评测
-
应用
任务2:8G 显存玩转书生大模型 Demo
Cli Demo 部署 InternLM2-Chat-1.8B 模型
官方教程:https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/Demo/easy_readme.md
官方参考教程是用命令行方式测试模型的,个人倾向于用Notebook
Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型
LMDeploy 部署 InternLM-XComposer2-VL-1.8B 模型
LMDeploy 部署 InternVL2-2B 模型
任务3:浦语提示词工程实践
官方教程:https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/Prompt
任务4:InternLM + Llamalndex RAG实践
官方教程:https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/LlamaIndex
蹭一波黑神话悟空热度😄
任务5:XTuner微调个人小助手认知
官方教程:https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner
过程截图–终端
过程截图–目录结构
过程截图–微调结果
【过程截图–终端】一节中设置的用户名称是「夜猫」,从下图运行结果看,模型已经get用户名为「夜猫」
任务6:OpenCompass评测InternLM-1.8B实践
官方教程:https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/OpenCompass/readme.md