Python-基于fastapi实现SSE流式返回（类似GPT）

萧老板

已于 2023-12-20 17:55:12 修改

阅读量5.5k

点赞数 16

文章标签：笔记

于 2023-12-20 17:49:40 首次发布

本文链接：https://blog.csdn.net/weixin_43976964/article/details/134331983

版权

本文介绍了如何使用FastAPI和EventSourceResponse库实现在前端页面上流式返回大模型对话内容，通过设置响应头并使用`stream_generate_text`函数逐条推送JSON格式的对话结果。

摘要由CSDN通过智能技术生成

最近在做大模型对话相关功能，需要将对话内容流式返回给前端页面（类似GPT的效果）。下面直接说下如何实现：

1.首先导入fastapi和sse流式返回所需要的包

from fastapi import APIRouter, Response, status
from sse_starlette.sse import EventSourceResponse

2.用EventSourceResponse来调用生成方法，在对话方法用yield推送对话内容

@api_router.post("/stream-chat")
def stream_chat(ask_form: ChatParam, response: Response):
    # 设置响应头部信息
    response.headers["Content-Type"] = "text/event-stream"
    response.headers["Cache-Control"] = "no-cache"
    return EventSourceResponse(stream_generate_text(ask_form, stream=True))

def stream_generate_text(ask_form: ChatParam, stream: bool = False):
    for res in model.chat(query=ask_form.prompt, stream=stream, historys=history, temperature=temperature):
        yield json.dumps(
            {
                "answer": res
            },
            ensure_ascii=False,
        )