书生大模型实战营基础岛作业

书生大模型实战营2

第三期基础岛内容
关于小容量LLM在A100上的微调和部署

---

---

第1关 书生大模型全链路开源体系

书生大模型全链路开源开放体系

书生大模型是上海人工智能实验室推出的自然语言的大模型开源项目，该项目具有性能好、全链路开源等特点。
经过几年的不断发展，目前LM2.5-20B已经达到了GPT-4的水平。

给出了不同规模的模型，如适合本地个人使用的1.8B模型，适合小规模团队或商用的7B模型等。

相比于其他所谓的开源模型，这里的书生全链路开源开放了数据语料库，提供了预训练框架如XTuner，可以无需代码知识实现模型微调。

---

第2关 8G 显存玩转书生大模型 Demo

作业： 使用Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图。

1 构建环境

按照教程构建本地部署大模型所需环境，复制进去代码后开始漫长等待。

2 运行demo

环境安装完成后在vscode复制模型代码，可以看到该代码是导入一个预训练好的语言模型，用命令行可以直接和他对话。

3 结果

demo正确运行后可以通过命令行和他对话。

让他再写一个刘备拳打曹操的故事吧。

---

总结

在服务器上运行了1.8B模型的本地部署，可以在命令行和他对话。