Qwen2.5-3B-Instruct-GGUF部署

注册账号：

魔搭社区

 

 等一会：

部署好了：

立即使用：

您部署的服务提供OpenAI API接口，可通过OpenAI SDK进行调用。请确保您的服务处于正常运行状态，并预先安装OpenAI SDK:

pip install openai

在本地新建一个py文件：

from openai import OpenAI

model_id = 'Qwen/Qwen2.5-3B-Instruct-GGUF'

client = OpenAI(
    base_url='https://hangzhou.fcapp.run/v1',
    api_key='ollama'
)

response=client.chat.completions.create(
    model=model_id,
    messages=[{"role":"user", "content":"你好，能帮我介绍一下杭州吗？"}],
    stream=True
)

for chunk in response:
    print(chunk.choices[0].delta.content, end='')

运行py文件之后就可以输出message相应的回答啦：

相关文章：

Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！-CSDN博客