[如何使用LangChain进行流式处理，让你的应用更快速响应]

最新推荐文章于 2024-10-18 20:09:44 发布

akhfuiigabv

最新推荐文章于 2024-10-18 20:09:44 发布

阅读量328

点赞数 4

文章标签： langchain windows linux python

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142326772

版权

# 如何使用LangChain进行流式处理，让你的应用更快速响应

## 引言

在大规模语言模型（LLMs）驱动的应用中，流式处理是实现快速响应关键的一环。通过流式传输模型的输出，可以在最终结果生成之前提供动态反馈，从而显著提升用户体验。本指南将介绍如何使用LangChain的流式处理接口并解决可能遇到的常见问题。

## 主要内容

### 1. 使用Stream方法

`AllRunnable`对象实现了同步方法`stream`和异步方法`astream`，用于分块流输出。每当一个块可用时，这些方法会立即发出。

```python
pip install -qU langchain-openai

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

from langchain_openai import ChatOpenAI

model = ChatOpenAI(model="gpt-4o-mini")

chunks = []
for chunk in model.stream("what color is the sky?"):  # 使用API代理服务提高访问稳定性
    chunks.append(chunk)
    print(chunk.content, end="|", flush=True)

# 输出: The| sky| appears| blue| during| the| day|.

2. 构建简单的Chain

结合LangChain Expression Language（LCEL）来构建一个简单的链条，从提示到模型再到解析器进行流式处理。

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_template("tell me a joke about {topic}")
parser = StrOutputParser()
chain = prompt | model | parser

async for chunk in chain.astream({"topic": "parrot"}):
    print(chunk, end="|", flush=True)

3. 使用JSON流解析

在流式JSON时，需要解析器自动补全部分JSON以保持格式有效。

from langchain_core.output_parsers import JsonOutputParser

chain = (
    model | JsonOutputParser()
)

async for text in chain.astream(
    "output a list of countries and their populations in JSON format."
):
    print(text, flush=True)