书生浦语实战训练营 第二课笔记

 参考Github链接：Tutorial/helloworld/hello_world.md at camp2 · InternLM/Tutorial · GitHub

进行大模型实战训练

一、基础作业：使用InternLM2-Chat-1.8B 模型生成 300 字的小故事

二、部署实战营优秀作品 八戒-Chat-1.8B 模型

关键点：下载Demo文件 下载模型，构建SSH链接，可启动大模型

三：使用 Lagent 运行 InternLM2-Chat-7B 模型（需开启 30% A100 权限后）

有关Lagent的知识：Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:

Lagent 的特性总结如下：

• 流式输出：提供 stream_chat 接口作流式输出，本地就能演示酷炫的流式 Demo。
• 接口统一，设计全面升级，提升拓展性，包括：
  • Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；
  • Action: 简单的继承和装饰，即可打造自己个人的工具集，不论 InternLM 还是 GPT 均可适配；
  • Agent：与 Model 的输入接口保持一致，模型到智能体的蜕变只需一步，便捷各种 agent 的探索实现；
• 文档全面升级，API 文档全覆盖。
• 实战关键：配置环境、
• 使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体
• 构建软链接

 

四、实践部署 浦语·灵笔2 模型（开启 50% A100 权限）

配置环境、下载 InternLM-XComposer 仓库 相关的代码资源

点击提交：

关闭原有终端 开启新的终端，进行图文理解实战

进阶作业 (优秀学员必做)

1、熟悉 huggingface 下载功能，使用 huggingface_hub python 包，下载 InternLM2-Chat-7B 的 config.json 文件到本地（需截图下载过程）

2、完成 浦语·灵笔2 的 图文创作 及 视觉问答 部署

3、完成 Lagent 工具调用 数据分析 Demo 部署