[轻松掌控流式数据：如何从工具中流式传输事件]

最新推荐文章于 2024-10-18 00:00:00 发布

akhfuiigabv

最新推荐文章于 2024-10-18 00:00:00 发布

阅读量310

点赞数 5

文章标签： python 开发语言

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142548067

版权

引言

在现代应用中，流式传输数据无疑是一项关键技术，特别是在处理实时事件时。本文将指导您如何从工具中流式传输事件，尤其是在使用LangChain工具时。

主要内容

理解基础概念

在开始之前，请确保您对以下概念有所了解：

LangChain工具：用于创建和管理语言生成任务。
自定义工具：根据特定需求构建的特定功能模块。
流式事件：连续数据流，可以用于实时监控和响应。
RunnableConfig：配置对象，用于在异步环境中传播配置。

兼容性问题

在Python<=3.10环境中，LangChain可能无法自动传播配置。您需要手动将RunnableConfig对象传递给子运行程序。即便在Python>=3.11中，自动传播已得到支持，但手动传递仍然是一种好的编程实践。

基本示例

假设您有一个自定义工具，可以将输入文本浓缩为10字，然后反转输出。以下是初步实现：

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.tools import tool

@tool
async def special_summarization_tool(long_text: str) -> str:
    prompt = ChatPromptTemplate.from_template(
        "You are an expert writer. Summarize the following text in 10 words or less:\n\n{long_text}"
    )

    def reverse(x: str):
        return x[::-1]

    chain = prompt | model | StrOutputParser() | reverse
    summary = await chain.ainvoke({"long_text": long_text})
    return summary

解决配置传播问题

如果您未在Python<=3.10中看到事件，需要手动传递配置：

from langchain_core.runnables import RunnableConfig

@tool
async def special_summarization_tool_with_config(
    long_text: str, config: RunnableConfig
) -> str:
    prompt = ChatPromptTemplate.from_template(
        "You are an expert writer. Summarize the following text in 10 words or less:\n\n{long_text}"
    )

    def reverse(x: str):
        return x[::-1]

    chain = prompt | model | StrOutputParser() | reverse
    summary = await chain.ainvoke({"long_text": long_text}, config=config)
    return summary

代码示例

使用astream_events()方法流式传输事件：

stream = special_summarization_tool_with_config.astream_events(
    {"long_text": LONG_TEXT}, version="v2"
)

async for event in stream:
    if event["event"] == "on_chat_model_end":
        print(event)