Gitee AI 模型广场

在测试一些大模型的时候，如果希望快速理解代码能力、DIFY整合，可以尝试下Gitee AI

https://ai.gitee.com/ ，会产生两个Token，免费体验专业Token

代码调用

from openai import OpenAI
client = OpenAI(
    base_url="https://ai.gitee.com/v1",
    api_key="-----------NC0BZY",
    default_headers={"X-Failover-Enabled":"true"},)
response = client.chat.completions.create(
    model="internlm3-8b-instruct",
    stream=False,
    max_tokens=1024,
    temperature=1,
    top_p=0.8,
    extra_body={ "top_k": 40, },
    frequency_penalty=1,
    messages=[
        { "role": "system", "content": "You are a helpful and harmless assistant. You should think step-by-step." },
        {"role": "user", "content": "你觉得最好玩的村田游戏是啥？"}
    ],)
print(response.choices[0].message.content)

DIFY整合

不同模型的交互提示词有些差别,以internVL2-8B为例，在 https://ai.gitee.com/ 上通过 “体验InternVL2-8B” 了解交互的提示词模式。
InternVL2-8B 是一款强大的视觉语言模型，支持图像与文本的多模态处理，能够精确识别图像内容并生成相关描述或回答。