fastapi+Langchain进行流式响应

fastapi+Langchain进行流式响应

from fastapi.responses import StreamingResponse

@app.post("/stream_test")
async def test() -> dict:

    async def run():
        async for i in chat.astream("用300字介绍你是谁"): #chat是某个实例化的聊天API，如openAI
            yield f"data:{i}\n\n"

    return StreamingResponse(run(),  media_type="text/event-stream")

代码只需要自己声明大模型实例对象即可。
但是需要注意的是，使用langchain流式响应时，如果是stream方法（同步的），可能会导致fastapi的流式响应失败（会一致阻塞，知道大模型的流数据响应完再返回），此时的解决方案是短暂睡眠：

from fastapi.responses import StreamingResponse

@app.post("/stream_test")
async def test() -> dict:

    async def run():
        for i in chat.stream("用300字介绍你是谁"): #chat是某个实例化的聊天API，如openAI
            yield f"data:{i}\n\n"
            await async.sleep(0.01)

    return StreamingResponse(run(),  media_type="text/event-stream")

出现这种情况的原因还未知，猜测是由于langchain的stream会占用当前CPU导致无法去完成其他工作（just猜测）。顺便说一句：langchain有点不好用。