大模型-基于vllm部署大模型

VLLM（非常大的语言模型）在中文中通常指的是经过大量文本数据训练的神经网络模型，能够理解和生成类似人类语言的文本。这类模型是许多先进AI系统的核心，比如ChatGPT、GPT-4等。

VLLM 可以执行各种任务，如自然语言处理、文本生成、翻译、问答系统等。它们在处理大量数据的情况下表现出色，能够为各种语言应用提供支持。

VLLM官方网址
VLLM官方 github 地址

部署大模型

1. 基于agiclass创建算力服务器
   
   

2. 启动实例
   

3. 打开本地终端，远程连接

ssh -p 40227 root@connect.cqa1.seetacloud.com

移动文件夹

mv Yi-6B-Chat/ /root/autodl-tmp/

启动服务

python -m vllm.entrypoints.openai.api_server --model /root/autodl-tmp/Yi-6B-Chat --trust-remote-code --port 6006

4. 启动服务器实例自定义服务

ssh -CNg -L 6006:127.0.0.1:6006 root@connect.cqa1.seetacloud.com -p 40227

本地测试 http://127.0.0.1:6006/ 地址

5. 终端访问地址

curl http://127.0.0.1:6006/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "/root/autodl-tmp/Yi-6B-Chat",
        "max_tokens":60,
        "messages": [
            {
                "role": "user",
                "content": "你是谁？"
            }
        ]
    }'

6. 本地pycharm调用

from openai import OpenAI

# Modify OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:6006/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)
completion = client.chat.completions.create(
    messages = [
        {
            "role": "user",
            "content": "你是谁"
        }
    ],
model="/root/autodl-tmp/Yi-6B-Chat"
)
print(completion.choices[0].message.content)

输出如下

你好！我是零一万物开发的智能助手，我叫 Yi，我是由零一万物的研究团队通过大量的文本数据进行训练的。我旨在为用户提供各种信息查询、文本理解和自然语言处理方面的帮助。如果您有任何问题或需要帮助，请随时告诉我！