书生·浦语大模型全链路开源体系
最近报名了书生·浦语大模型实战营,第一节课大致介绍了书生·浦语大模型全链路开源体系,做个笔记,也算给训练营打个广告,毕竟让本菜鸡免费学习~~
书生·浦语大模型
1.大模型系列
2.大模型性能
全链路开源体系
0.开源体系介绍
这里部署和评测的位置应该换一换~
1.数据
2.预训练
重点关注预训练和微调的区别
3.微调
增量续训基本与预训练一致,有监督微调参照lora大模型微调方式。
8G显存,2080Ti就能微调大模型,还是挺香的~~
4.评测
5.部署
大语言模型结构相对于计算机视觉模型结构简单,算子种类少,相对容易部署
部署用pytorch做推理引擎吗?估计没啥加速效果,另一个turbomind不是很了解。
6.应用(智能体)
用LLM做工具调用接口。