阿里云魔搭社区 - ModelScope-启动自己模型

最新推荐文章于 2025-04-17 16:13:46 发布

未来之窗软件服务

最新推荐文章于 2025-04-17 16:13:46 发布

阅读量313

点赞数 5

文章标签： python 开发语言大模型

本文链接：https://blog.csdn.net/cybersnow/article/details/146981917

版权

pip install openai
from openai import OpenAI

client = OpenAI(
    base_url='https://ms-fc-3fb74e75-eeee.api-inference.modelscope.cn/v1',
    api_key='6b737ed8-84fb-4c89-820f-3827a9acfa2a', # ModelScope Token
)

response = client.chat.completions.create(
    model='AI-ModelScope/stable-diffusion-3.5-large-gguf', # ModelScope Model-Id
    messages=[
        {
            'role': 'system',
            'content': 'You are a helpful assistant.'
        },
        {
            'role': 'user',
            'content': '你好'
        }
    ],
    stream=True
)

for chunk in response:
    print(chunk.choices[0].delta.content, end='', flush=True)