使用LangChain的输出解析器将LLM响应解析为结构化格式

使用LangChain的输出解析器将LLM响应解析为结构化格式

在使用大型语言模型(LLM)时,我们经常需要将其文本输出解析为结构化的格式。LangChain提供了强大的输出解析器工具来实现这一目的。本文将介绍如何使用LangChain的输出解析器,特别是PydanticOutputParser,来将LLM响应解析为结构化格式。

输出解析器简介

输出解析器是帮助结构化语言模型响应的类。它们通常需要实现两个主要方法:

1. get_format_instructions(): 返回一个字符串,包含LLM输出应如何格式化的说明。
2. parse(): 接收一个字符串(假定为LLM的响应)并将其解析为某种结构。

还有一个可选的方法:

3. parse_with_prompt(): 接收一个字符串(假定为LLM的响应)和一个提示(假定为生成该响应的提示),并将其解析为某种结构。这主要用于在解析器想要重试或修复输出时使用。

使用PydanticOutputParser

让我们通过一个实例来了解如何使用PydanticOutputParser:

from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field, validator
from langchain_openai import OpenAI

# 初始化OpenAI模型
model = OpenAI(model_name="gpt-3.5-turbo-instruct", temperature=0.0)

# 定义所需的数据结构
class Joke(BaseModel):
    setup: str = Field(description="question to set up a joke")
    punchline: str = Field(description="answer to resolve the joke")

    # 添加自定义验证逻辑
    @validator("setup")
    def question_ends_with_question_mark(cls, field):
        if field[-1] != "?":
            raise ValueError("Badly formed question!")
        return field

# 设置解析器并将说明注入到提示模板中
parser = PydanticOutputParser(pydantic_object=Joke)

prompt = PromptTemplate(
    template="Answer the user query.\n{format_instructions}\n{query}\n",
    input_variables=["query"],
    partial_variables={"format_instructions": parser.get_format_instructions()},
)

# 创建提示和模型的组合
prompt_and_model = prompt | model

# 调用模型并解析输出
output = prompt_and_model.invoke({"query": "Tell me a joke."})
result = parser.invoke(output)

print(result)

这个例子中,我们定义了一个Joke类来表示笑话的结构,包含setup和punchline两个字段。我们使用PydanticOutputParser来解析LLM的输出,确保它符合我们定义的结构。

LangChain表达式语言(LCEL)

输出解析器实现了Runnable接口,这是LangChain表达式语言(LCEL)的基本构建块。这意味着它们支持invoke, ainvoke, stream, astream, batch, abatch, astream_log等调用。

你可以将解析器直接添加到Runnable序列中:

chain = prompt | model | parser
result = chain.invoke({"query": "Tell me a joke."})
print(result)

流式输出

某些解析器支持流式输出部分解析的对象。例如,SimpleJsonOutputParser可以流式输出部分结果:

from langchain.output_parsers.json import SimpleJsonOutputParser

json_prompt = PromptTemplate.from_template(
    "Return a JSON object with an `answer` key that answers the following question: {question}"
)
json_parser = SimpleJsonOutputParser()
json_chain = json_prompt | model | json_parser

for partial_result in json_chain.stream({"question": "Who invented the microscope?"}):
    print(partial_result)

这将逐步输出解析的JSON对象,允许你在完整结果生成之前就开始处理数据。

可能遇到的错误和解决方案

1. 格式错误:
   如果LLM的输出不符合指定的格式,解析器将抛出错误。确保你的提示清晰地指定了所需的输出格式。

   try:
       result = parser.invoke("This is not a valid joke format")
   except ValueError as e:
       print(f"解析错误: {e}")
   

2. 验证失败:
   如果输出不满足自定义验证规则,将抛出验证错误。检查你的验证逻辑并确保LLM的输出符合要求。

   try:
       result = parser.invoke('{"setup": "Why did the chicken cross the road", "punchline": "To get to the other side!"}')
   except ValueError as e:
       print(f"验证错误: {e}")
   

3. API连接问题:
   如果无法连接到OpenAI API,请检查你的网络连接和API密钥。

   try:
       output = model.invoke("Tell me a joke.")
   except Exception as e:
       print(f"API错误: {e}")
   

参考资料

1. LangChain文档: Output Parsers
2. Pydantic文档: Pydantic
3. OpenAI API文档: OpenAI API

如果你觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!