8G 显存玩转书生大模型_用lmdeploy 本地推理 internvl2-CSDN博客

本文链接：https://blog.csdn.net/weixin_42037035/article/details/140707254

一.基础任务

1、安装lmdeploy

lmdeploy/README_zh-CN.md at main · AllentDan/lmdeploy · GitHub

直接终端输入安装（最好先创一个环境，我这有点漏了）

     pip install lmdeploy

会安装推理需要的所有包

2、部署模型

使用lmdeploy部署服务
创建文件夹并cd：mkdir model
下载模型：pip install modelscope

import os
from modelscope.hub.snapshot_download import snapshot_download


# save_dir是模型保存到本地的目录
save_dir="/root/dome/model"

snapshot_download("Shanghai_AI_Laboratory/internlm2-chat-1_8b", 
                  cache_dir=save_dir, 
                  revision='v1.1.0')

python download.py运行文件下载

启动API服务器

lmdeploy serve api_server /root/dome/model/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333

端口映射
打开powershell

ssh -p 38082 root@ssh.intern-ai.org.cn -CNg -L 23333:0.0.0.0:23333 -o StrictHostKeyChecking=no
#ssh -p 38082 root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:7860 -o StrictHostKeyChecking=no

输入密码连接

浏览器打开聊天
```
http://localhost:23333    #{本地机器_PORT}
```
第二种方法用脚本聊天

from openai import OpenAI
client = OpenAI(
        api_key='lmdeploy',
        base_url="http://0.0.0.0:23333/v1"
)
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_name,
    messages=[
        {"role": "system", "content": "你是一个写神话故事能手."},
        {"role": "user", "content": " 写一个300字以内的神话故事，主角：夸父"},
    ],
        temperature=0.8,
        top_p=0.8
)
print(response.choices[0].message.content)

打开cmd连接studio，python 上面文件名.py

二.进阶任务

1.使用 LMDeploy 完成 InternVL2-2B 的部署

下载模型

export HF_ENDPOINT="https://hf-mirror.com"
huggingface-cli download  --resume-download OpenGVLab/InternVL2-2B --local-dir /root/model/InternVL2-2B

pip install timm （缺失模块安装）
pip install flash-attn
lmdeploy serve api_server /root/model/InternVL2-2B --server-port 23333 --cache-max-entry-count 0.8 --session-len 2048

2.使用模型

from openai import OpenAI
 
client = OpenAI(api_key='lmdeploy', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_name,
    messages=[{
        'role':
        'user',
        'content': [{
            'type': 'text',
            'text': '用中文描述下图片的内容,不少于100个字',
        }, {
            'type': 'image_url',
            'image_url': {
                'url':
                'https://inews.gtimg.com/om_bt/O8BcNJ8i70fk9TPBExOvoBd9COUnN9mbq9snsqgo5JTEoAA/641',
            },
        }],
    }],
    temperature=0.8,
    top_p=0.8)
print(response.choices[0].message.content)

图片链接：https://inews.gtimg.com/om_bt/O8BcNJ8i70fk9TPBExOvoBd9COUnN9mbq9snsqgo5JTEoAA/641

打开cmd连接studio，python 上面文件名.py