LangChain入门：13.RetryWithErrorOutputParser解析器实战

引言

在处理自动化数据解析时，格式错误是常见的问题。本文将展示如何使用RetryWithErrorOutputParser和OutputFixingParser来自动纠正这些错误，确保数据解析的顺利进行。

问题场景

在解析JSON数据时，如果格式不正确，Python的内建JSON解析器会抛出错误。例如，属性名称未用双引号包围时，会导致解析失败。这种格式错误可能导致数据解析过程中断，影响数据处理的自动化效率。

解决方案

• OutputFixingParser是一个强大的工具，它可以自动检测并修复常见的格式错误，使得数据解析过程更加顺畅。通过使用OutputFixingParser，我们可以提高数据处理的自动化程度和准确性，从而节省时间和精力。

• RetryWithErrorOutputParser进一步提升了数据解析的能力。它不仅能够修复简单的格式错误，还可以根据原始提示信息重新提问，获取更准确的输出。这使得LangChain在处理复杂数据时更加灵活可靠。

实战步骤

1. 导入所需库和模块：

   from langchain.output_parsers import PydanticOutputParser, OutputFixingParser, RetryWithErrorOutputParser
   from langchain_openai import ChatOpenAI
   from pydantic import BaseModel, Field
   

2. 定义查询和错误输出：

   # 定义查询
   query = "What are the colors of Orchid?"
   
   # 定义格式错误的输出
   bad_response = '{"action": "search"}'
   

3. 创建Pydantic解析器：

   # 创建用于解析输出的Pydantic解析器
   class Action(BaseModel):
       action: str = Field(description="The action to take.")
       action_input: str = Field(description="The input for the action.")
   
   parser = PydanticOutputParser(pydantic_object=Action)
   

4. 使用OutputFixingParser修复格式错误：

   # 创建一个新的OutputFixingParser解析器
   new_parser = OutputFixingParser.from_llm(
       parser=parser,
       llm=ChatOpenAI(
           openai_api_key='# 替换为你的API密钥',
           base_url='https://api.chatanywhere.tech/v1',
           model='gpt-3.5-turbo',
           temperature=0,
       ),
   )
   
   # 使用新的解析器解析错误格式的输出
   result = new_parser.parse(bad_response)
   print("OutputFixingParser的parse结果：", result)
   

5. 使用RetryWithErrorOutputParser修复格式错误并补全信息：

   # 创建一个新的RetryWithErrorOutputParser解析器
   retry_parser = RetryWithErrorOutputParser.from_llm(
       parser=parser,
       llm=ChatOpenAI(
           openai_api_key='# 替换为你的API密钥',
           base_url='https://api.chatanywhere.tech/v1',
           model='gpt-3.5-turbo',
           temperature=0,
       ),
   )
   
   # 使用RetryWithErrorOutputParser解析错误格式的输出并补全信息
   parse_result = retry_parser.parse_with_prompt(bad_response, query)
   print("RetryWithErrorOutputParser的parse结果：", parse_result)
   

工作原理

• OutputFixingParser内部调用了原有的PydanticOutputParser。如果解析成功，则直接返回结果。如果解析失败，它会将错误输出和格式化指令传递给大型语言模型（LLM），请求LLM进行修复。这样，LLM不仅提供知识，还帮助分析和解决程序错误。通过这种方式，我们可以自动修复格式错误，使数据解析过程更加顺畅。

• RetryWithErrorOutputParser进一步提升了数据解析的能力。它通过多次提问的方式，利用大型语言模型的推理能力，根据原始提示信息重新获取所需信息，从而更准确地进行数据解析。

效果对比

通过对比实验，我们可以发现：

• OutputFixingParser能够修复简单的格式错误，但对于需要更多上下文信息的情况，效果有限。

• RetryWithErrorOutputParser则更加智能，能够根据原始提示信息重新提问，获取更准确的输出。因此，在处理复杂数据解析问题时，它表现更出色。

结论

通过使用RetryWithErrorOutputParser和OutputFixingParser，我们可以有效地解决数据解析过程中的格式错误问题，提高数据处理的自动化程度和准确性。这种方法减少了手动干预的需求，使得开发和维护过程更加高效。读者可以根据具体需求选择合适的解析器，提升数据处理的效率和质量，应对自动化数据解析的挑战。