火山引擎 -Doub-豆包 API调用-2024-11-14

两个文档：

火山引擎 文档中心：https://www.volcengine.com/docs/82379/1108216
火山方舟 模型广场：https://console.volcengine.com/ark/region:ark+cn-beijing/model

首先在模型广场把API搞到手：

然后再模型广场的在线推理，创建推理接入点

创建好后，如下图

在接入点中选择API调用

这里显示了示例

示例代码如下：

from volcenginesdkarkruntime import Ark
import os

# Doub的配置需要：
os.environ["ARK_API_KEY"] = "YOUR_API_KEY"

client = Ark(
    base_url="https://ark.cn-beijing.volces.com/api/v3",
)

# Non-streaming:
print("----- standard request -----")
completion = client.chat.completions.create(
    model="ep-20241114133215-75z5q",
    messages = [
        {"role": "system", "content": "你是豆包，是由字节跳动开发的 AI 人工智能助手"},
        {"role": "user", "content": "常见的十字花科植物有哪些？"},
    ],
)
print(completion.choices[0].message.content)

# Streaming:
print("----- streaming request -----")
stream = client.chat.completions.create(
    model="ep-20241114133215-75z5q",
    messages = [
        {"role": "system", "content": "你是豆包，是由字节跳动开发的 AI 人工智能助手"},
        {"role": "user", "content": "常见的十字花科植物有哪些？"},
    ],
    stream=True
)
for chunk in stream:
    if not chunk.choices:
        continue
    print(chunk.choices[0].delta.content, end="")
print()

结果如下：