第2节 轻松玩转书生·浦语大模型趣味Demo 基础作业+进阶作业

一、趣味 Demo 任务列表

本节课的四个主要内容：

• 部署 InternLM2-Chat-1.8B 模型进行智能对话
• 部署实战营优秀作品 八戒-Chat-1.8B 模型
• 通过 InternLM2-Chat-7B 运行 Lagent 智能体 Demo
• 实践部署 浦语·灵笔2 模型

二、部署InternLM2-Chat-1.8B模型进行智能对话

2.1 配置基础环境

创建conda环境并配置环境包

2.2 下载InternLM2-Chat-1.8B模型

2.3 运行 cli_demo

创作一个300字的小故事

三、实战：部署实战营优秀作品 八戒-Chat-1.8B 模型

3.1 八戒-Chat-1.8B、Chat-嬛嬛-1.8B、Mini-Horo-巧耳（实战营优秀作品）介绍

八戒-Chat-1.8B、Chat-嬛嬛-1.8B、Mini-Horo-巧耳 均是在第一期实战营中运用 InternLM2-Chat-1.8B 模型进行微调训练的优秀成果。其中，八戒-Chat-1.8B 是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为 Roleplay-with-XiYou 子项目之一，八戒-Chat-1.8B 能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。
具体模型链接如下：
八戒-Chat-1.8B：https://www.modelscope.cn/models/JimmyMa99/BaJie-Chat-mini/summary
Chat-嬛嬛-1.8B：https://openxlab.org.cn/models/detail/BYCJS/huanhuan-chat-internlm2-1_8b
Mini-Horo-巧耳：https://openxlab.org.cn/models/detail/SaaRaaS/Horowag_Mini

3.2 配置基础环境

3.3 运行结果

四、实战：使用 Lagent 运行 InternLM2-Chat-7B 模型（开启 30% A100 权限后才可开启此章节）

4.1 初步介绍 Lagent 相关知识

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下：

Lagent 的特性总结如下：

• 流式输出：提供 stream_chat 接口作流式输出，本地就能演示酷炫的流式 Demo。
• 接口统一，设计全面升级，提升拓展性，包括：
  • Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；
  • Action: 简单的继承和装饰，即可打造自己个人的工具集，不论 InternLM 还是 GPT 均可适配；
  • Agent：与 Model 的输入接口保持一致，模型到智能体的蜕变只需一步，便捷各种 agent 的探索实现；
• 文档全面升级，API 文档全覆盖。

4.2 配置基础环境

4.3 使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体

五、实战：实践部署 浦语·灵笔2 模型（开启 50% A100 权限后才可开启此章节）

5.1 初步介绍 XComposer2 相关知识

浦语·灵笔2是基于书生·浦语2大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色，总结起来其具有：

• 自由指令输入的图文写作能力：浦语·灵笔2可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。
• 准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。
• 杰出的综合能力： 浦语·灵笔2-7B 基于 书生·浦语2-7B 模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V 和 Gemini Pro。
  

5.2 配置基础环境

5.3 图文写作实战

5.4 图片理解实战

六、Hugging Face模型下载

使用 Hugging Face 官方提供的 huggingface-cli 命令行工具。安装依赖:

pip install -U huggingface_hub

然后新建 python 文件，填入以下代码，运行即可。

• resume-download：断点续下
• local-dir：本地存储路径。

其中 linux 环境下需要填写绝对路径。

import os
# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm2-chat-7b --local-dir your_path')

以下内容将展示使用 huggingface_hub 下载模型中的部分文件

import os 
from huggingface_hub import hf_hub_download  # Load model directly 

hf_hub_download(repo_id="internlm/internlm2-7b", filename="config.json")

下载的模型路径：/root/.cache/huggingface/hub/models--your-model-name/snapshots/xxxxxxxxxxxx

浦语灵笔和Lagent 工具调用数据分析的内容见前文。