（作业）第三期书生·浦语大模型实战营（十一卷王场）–书生基础岛第2关---8G 显存玩转书生大模型 Demo

8G 显存玩转书生大模型 Demo
记录复现过程并截图

基础任务（完成此任务即完成闯关）

使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图。

安装环境

新建文件

运行文件

web demo

克隆代码

启动服务
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 36006

浏览器访问 http://localhost:6006 来启动 Demo

进阶任务（闯关不要求完成此任务）

InternLM-XComposer2-VL-1.8B 的部署

使用 LMDeploy 完成 InternLM-XComposer2-VL-1.8B 的部署，并完成一次图文理解对话，记录复现过程并截图。

激活环境并安装 LMDeploy 以及其他依赖

#terminal
lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1
# powershell
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 36006
#浏览器
http://127.0.0.1:6006/

备注：原来是浏览器网址应该是：http://127.0.0.1:6006/

附录： 代码报错

我用control+z停止了6006端口，好像没用，

lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1

这个错误信息表明在尝试启动Gradio服务时，默认的端口（6006）已经被占用，因此无法启动服务。要解决这个问题，您可以通过以下几种方法之一来指定一个不同的端口：

1. 设置环境变量 GRADIO_SERVER_PORT 为一个未被占用的端口。
2. 在调用 launch() 函数时，通过 server_port 参数指定一个端口。
   以下是几种解决这个问题的方法：

方法一：设置环境变量

在运行您的命令之前，您可以在终端中设置环境变量：

export GRADIO_SERVER_PORT=6007  # 指定一个新的端口，例如6007
lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1

方法二：修改代码以传递 server_port 参数

如果您能访问启动Gradio服务的代码，您可以在调用 launch() 函数时添加 server_port 参数：

import gradio
# 假设您已经定义了Gradio界面
iface = gradio.Interface(...)
# 指定一个新的端口
iface.launch(server_port=6007)

方法三：使用命令行参数

如果 lmdeploy 命令支持通过命令行参数传递 server_port，您可以在命令中添加该参数：

lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1 --server-port 6007

请注意，最后一个方法可能不适用于 lmdeploy 命令，因为它取决于该命令是否支持 --server-port 参数。如果它不支持，您需要使用前两种方法之一。
在确定端口没有被占用之后，使用上述方法之一，您应该能够成功启动Gradio服务。如果新的端口仍然被占用，请尝试选择一个更高的端口，或者检查哪些服务正在使用端口，并考虑关闭它们或使用其他端口。

重建端口和启动服务（也不行）

lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1 --server-port 6007

ssh -CNg -L 6007:127.0.0.1:6007 root@ssh.intern-ai.org.cn -p 36006

修改代码（也不行）

lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b

重启开发机（也不行）

#1、激活环境并安装依赖项
conda activate demo
pip install lmdeploy[all]==0.5.1
pip install timm==1.0.7

#2、启动服务
lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1

#3、映射过端口
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 36006

#4、浏览器访问 http://localhost:6006 来启动我们的 Demo

报错

Could not create share link. Missing file: /root/.conda/envs/demo/lib/python3.10/site-packages/gradio/frpc_linux_amd64_v0.2. 

Please check your internet connection. This can happen if your antivirus software blocks the download of this file. You can install manually by following these steps: 

1. Download this file: https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64
2. Rename the downloaded file to: frpc_linux_amd64_v0.2
3. Move the file to this location: /root/.conda/envs/demo/lib/python3.10/site-packages/gradio，

使用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务

InternVL2-2B 的部署

使用 LMDeploy 完成 InternVL2-2B 的部署，并完成一次图文理解对话，记录复现过程并截图。

conda activate demo
lmdeploy serve gradio /share/new_models/OpenGVLab/InternVL2-2B --cache-max-entry-count 0.1

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 36006

浏览器输入
http://127.0.0.1:6006/