书生大模型实战营-第三期进阶课程,对书生浦语大模型进行简介。
课程链接:
https://github.com/InternLM/Tutorial/tree/camp3?tab=readme-ov-file
本期进阶课程安排如下:
关卡名称 | 资料 | 闯关激励 | |
---|---|---|---|
第 1 关 | 书生大模型全链路开源体系 | 任务、视频 | 100元算力点 |
第 2 关 | 8G 显存玩转书生大模型 Demo | 任务、文档、视频 | 100元算力点 |
第 3 关 | 浦语提示词工程实践 | 任务、文档、视频 | 100元算力点 |
第 4 关 | InternLM + LlamaIndex RAG 实践 | 任务、文档、视频 | 100元算力点 |
第 6 关 | XTuner 微调个人小助手认知 | 任务、文档、视频 | 100元算力点 |
第 7 关 | OpenCompass 评测 InternLM-1.8B 实践 | 任务、文档、视频 | 100元算力点 |
一、书生·浦语大模型全链路开源体系
1.1 开源历程
1.2 InternLM2模型介绍
Internlm2的7B参数模型可以在消费级显卡微调、推理
使用新一代数据清洗技术,高质量的语料进行训练,InternLM2相比于上一代的推理能力有显著提升
主要亮点
流浪地球第三部剧情生成非常震撼:
工具调用能力升级
数学计算能力-代码解释能力更上一层楼
数学分析能力提升
从模型到应用
1.3 书生·浦语全链路开源开放体系
全链路开源工具包,专业定制,一条龙服务
1.3.1 数据:书生·万卷
公开在https://opendatalab.org.cn上
1.3.2 预训练:InternLM-Train
1.3.3 微调:XTuner
可以在消费级显卡进行QLoRA微调
适配英伟达的大部分显卡,但要微调大模型,建议显存24GB,最低8GB。
1.3.4 评测:OpenCompass
1.3.5 部署: LMDeploy
通过量化,可以降低模型对显存的占用,对生产环境下的部署更加友好
1.3.6 智能体框架:Lagent
通过Lagent调用外部API可以让大模型获取更多更加准确的能力表现