Open AI之Chat Completion中的stream流式

最近需要调用Open AI的API，对openai.ChatCompletion.create()函数的输入流stream参数不太了解，网上查看了一些资料，记在这里。由于我购买的API支持的openai的版本较低，代码中涉及的函数可能只对低版本的openai第三方库有效。

文章 OpenAI API （五）Chat Completion中的stream处理 对stream流式的原理进行了较为详细的介绍。简言之，当设置stream = False 时响应是一个json格式的数据块，以message的形式整体输出；当stream = True 时则可以实现逐步读写，按需处理，无需提前加载全部数据。

文章 Python调用GPT3.5接口的最新方法实例详解 有stream = False 和stream = True 的详细代码示例。

这里只记我自己用到的。

import openai

openai.api_base = "url" # 换成代理url
openai.api_key = "sk-XXXXXXXX" # your api_key

1. 当stream = False

response1 = openai.ChatCompletion.create(
    model = 'gpt-3.5-turbo',
    messages = [
        {
            "role": "user",
            "content": system1 + question1,
        }
    ],
    # prompt = system1 + question1,
    temperature = 0,
    max_tokens = 100,
    top_p = 1,
    frequency_penalty = 0,
    presence_penalty = 0,
    stop = None
)

#answer1 = response1.choices[0].text.strip()
answer1 = response1.choices[0].message['content'].strip()

2. 当stream = True

for resp in openai.ChatCompletion.create(
                                    model="gpt-3.5-turbo",
                                    messages=[
                                      {"role": "user", "content": "证明费马大定理"}
                                    ],
                                    # 流式输出
                                    stream = True):
    if 'content' in resp.choices[0].delta:
        print(resp.choices[0].delta.content, end="", flush=True)