书山大模型第三期 4 8G 显存玩转书生大模型 Demo

首先，创建一个虚拟机

之后，创建环境

新建一个py文件，代码如下：

运行该文件，结果如下：

之后输入 ：请介绍一下你自己

Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型

终端执行

cd /root/demo
git clone https://github.com/InternLM/Tutorial.git

之后执行

cd /root/demo
streamlit run /root/demo/Tutorial/tools/streamlit_demo.py --server.address 127.0.0.1 --server.port 6006

再通过ssh连接到本地pc

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 你的 ssh 端口号

输入密码

可以在本地浏览器上看到

输入：介绍一下你自己

这个模型回答比上个模型 答案长一些。

LMDeploy 部署 InternLM-XComposer2-VL-1.8B 模型

安装 LMDeploy 以及其他依赖

pip install lmdeploy[all]==0.5.1
pip install timm==1.0.7

使用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务

lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1

到这里不知道咋整了。LMDeploy好像布置 视觉-语言大模型会出问题。