vllm的代码

有梦想的鱼

于 2024-07-01 15:36:54 发布

阅读量79

点赞数

文章标签： python linux 开发语言

本文链接：https://blog.csdn.net/qq_38148600/article/details/140102732

版权

# 1. 服务部署
python -m vlm.entrypoints.openai_api_server --model /root/models/Meta-llama-3-8B --dtype auto --api-key 123456

# 2. 服务测试（vlm_completion_test.py）
from openai import OpenAI
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="123456",
)
print("服务连接成功")
completion = client.completions.create(
    model="/root/models/Meta-llama-3-8B",
    prompt="San Francisco is a",
    max_tokens=128,
)
print("# San Francisco is : ")
print("Completion result: ", completion)

关注博主即可阅读全文