第二节课《轻松玩转书生·浦语大模型趣味Demo》学习笔记

本期课程由书生·浦语社区角色扮演SIG小组长主讲。

Demo实战任务内容主要分为四部分

基础部分（2个）

• 在实战部署InternLM2-Chat-1.8B时，我们会创建并初步熟悉开发机，了解一些基础功能并下载1.8B模型，以本地Client Demo的成功部署作为实现目标。
• 紧接着我们会尝试部署第一期实战营优秀作品“八戒-Chat-1.8B”并了解如何部署自定义模型以及如何实现本地端口映射。

进阶部分（2个）

• 我们需要以InternLM2-Chat-7B为基础，建立软连接，并且运行Lagent智能体Demo，体验智能体在数据分析辅助下的应用效果。
• 最后通过InternLM-XComposer2的图文生成以及视觉问答Demo为切入点，浅尝多模态的超强能力。

接下来跟着GitHub里的helloworld文档进行实战。（也就是作业的完成过程与结果展示部分）

文档教程链接：Tutorial/helloworld/hello_world.md at camp2 · InternLM/Tutorial (github.com)

基础作业部分：

使用InternLM2-Chat-1.8B模型生成300字的小故事。

首先创建开发机，填写开发机的名称后选择所需镜像以及资源配置，完成创建。

接下来进入开发机，在terminal中输入环境配置命令“studio-conda -o internlm-base -t demo”，命令成功执行后的结果如下。

接下来跟着文档输入后续的命令

首先要用“conda activate demo”激活我们的环境，命令成功执行后的结果如下。

接着再输入以下的命令，补充在后续实验中所需要的Python包。

接下来下载 InternLM2-Chat-1.8B 模型。我们按路径创建文件夹，并进入相应的目录。

双击打开 /root/demo/download_mini.py 文件，输入以下代码：

执行python /root/demo/download_mini.py命令，下载模型参数文件。执行结果如下：

双击打开 /root/demo/cli_demo.py 文件，输入以下代码：

当我们模型下载好了之后。我们输入命令执行Demo程序，命令执行结果如下。

如上图所示，当我们看到User的时候，就可以输入内容了。

这里我们键入：请创作一个 300 字的小故事

运行结果如下：

至此，第一个模型实战便和告一段落，我们输入exit就可以退出。

实战：部署实战营优秀作品 八戒-Chat-1.8B 模型

首先运行conda命令激活环境，然后使用git命令来获得仓库内的demo文件，在tutorial里面将八戒download以及八戒chat都已经放置完成，可以直接访问然后运行，就能达到相同的效果。

首先运行八戒download

在程序下载完成之后，我们要输入运行命令，将命令复制进Terminal然后回车，在程序运行的同时，对端口环境要配置本地PowerShell。

打开 PowerShell 后，先查询端口，再根据端口键入命令 （例如图中端口示例为 41130）：

打开 http://127.0.0.1:6006 后，等待加载完成即可进行对话，效果如下所示：

至此，第二个实战任务也顺利完成。

我们关闭Streamlit，然后使用Ctrl+C退出。接下来可以进行后续的任务。

进阶作业部分：

使用 Lagent 运行 InternLM2-Chat-7B 模型，

完成Lagent工具调用数据分析Demo部署。

接下来先将配置升到30%，进入开发机。进入到之前配置好的conda环境之中。打开文件子路径，使用git命令下载lagent相关的代码库。

完成安装之后，打开lagent路径，在Terminal中输入指令，构造软链接快捷访问方式。访问share文件之中的模型参数

然后打开 lagent 路径examples/internlm2_agent_web_demo_hf.py 文件，并修改对应位置 (71行左右) 代码为如下结果后保存。

回到Terminal，输入命令运行程序

在运行程序的同时，对本地端口环境配置本地PowerShell。输入命令并输入密码，如下所示状态，表示已经连接成功。

接着点击URL就可以正常访问。待模型加载完成，到插件选择底下将数据分析勾选上然后不做任何其他的操作，接着可以在聊天栏中键入任意内容，这里运行示例“请解方程 2*X=1360 之中 X 的结果”。效果如下：

至此，第三个实战任务也完成了。同样，通过Ctrl+C退出。

实践部署浦语·灵笔2模型，

完成浦语·灵笔2的图文创作及视觉问答部署

接下来先将配置升到50%，进入开发机。启动conda环境并补充一些环境包。

安装完环境包之后，下载InternLM-XComposer仓库相关的代码资源。

在Terminal中输入指令，构造软链接快捷访问方式。

这样我们就可以安全地访问浦语·灵笔2的图文写作模型和视觉问答模型。继续输入指令，用于启动InternLM-XComposer。

待程序运行的同时，同样要对端口环境配置本地PowerShell 。

完成链接之后，就可以访问在XComposer中的127.0.0.1:6006端口。

图文写作实战结果

图文理解实战结果

至此结束了第四个实战。

熟悉huggingface下载功能，

使用huggingface_hub python包，

下载InternLM2-Chat-7B的config.json文件到本地

打开PowerShell，输入命令“pip install -U huggingface_hub”安装依赖，成功执行后的结果如下:

编辑两个Python文件，内容如下：

Download文件用于下载模型。

Download2文件用于展示使用huggingface_hub下载模型中的部分文件。

执行命令“python /root/demo/lagent/examples/download.py”，运行download文件，运行结果如下：

执行命令“python /root/demo/lagent/examples/download2.py”，运行download2文件，运行结果如下：

至此所有任务就都完成啦！