书生大模型实战营第三期_8G 显存玩转书生大模型 Demo（81班1101作业）

• 记录复现过程并截图

基础任务（完成此任务即完成闯关）

• 使用 LMDeploy 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图。

1、安装lmdeploy

     lmdeploy/README_zh-CN.md at main · AllentDan/lmdeploy · GitHub     

     pip install lmdeploy

2、部署模型

• 使用lmdeploy部署服务
• 模型所在路径 /root/model/internlm2-chat-1_8b
• lmdeploy serve api_server /root/model/internlm2-chat-1_8b --server-port 23333

3、调用大模型服务，生成故事内容

from openai import OpenAI
        client = OpenAI(
        api_key='lmdeploy',
        base_url="http://0.0.0.0:23333/v1"
    )
    model_name = client.models.list().data[0].id
    response = client.chat.completions.create(
    model=model_name,
    messages=[
        {"role": "system", "content": "你是一个写神话故事能手."},
        {"role": "user", "content": " 写一个300字以内的神话故事，主角：孙悟空"},
    ],
        temperature=0.8,
        top_p=0.8
    )
    print(response.choices[0].message.content)

故事

进阶任务

• 使用 LMDeploy 完成 InternLM-XComposer2-VL-1.8B 的部署，并完成一次图文理解对话，记录复现过程并截图。

1、获取模型地址

• /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b
• cd /root/model
• ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b/ ./

2、部署模型

• lmdeploy serve api_server /root/model/internlm-xcomposer2-vl-1_8b --server-port 23333 --cache-max-entry-count 0.8 --session-len 2048
• 

3、服务调用

from openai import OpenAI

client = OpenAI(api_key='lmdeploy', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_name,
    messages=[{
        'role':
        'user',
        'content': [{
            'type': 'text',
            'text': '用中文描述下图片的内容,不少于100个字',
        }, {
            'type': 'image_url',
            'image_url': {
                'url':
                'https://pics0.baidu.com/feed/f9dcd100baa1cd11747ec8826d2594f2c2ce2d09.jpeg',
            },
        }],
    }],
    temperature=0.8,
    top_p=0.8)
print(response.choices[0].message.content)

图片描述

• 使用 LMDeploy 完成 InternVL2-2B 的部署，并完成一次图文理解对话，记录复现过程并截图。（优秀学员必做）

1、下载模型

export HF_ENDPOINT="https://hf-mirror.com"
huggingface-cli download  --resume-download OpenGVLab/InternVL2-2B --local-dir /root/model/InternVL2-2B

模型下载

2、部署模型

• pip install timm （缺失模块安装）
• pip install flash-attn
• lmdeploy serve api_server /root/model/InternVL2-2B --server-port 23333 --cache-max-entry-count 0.8 --session-len 2048

3、调用模型

• 代码同上
• 返回结果