从语言模型获取结构化数据输出的高级技巧

标题: 从语言模型获取结构化数据输出的高级技巧

内容:

从语言模型获取结构化数据输出的高级技巧

引言

在使用大型语言模型(LLM)时,我们经常需要模型返回特定格式的结构化数据,而不仅仅是自由格式的文本。这种结构化输出可以直接用于数据库插入、API调用或其他下游任务,大大提高了工作流程的效率。本文将探讨几种从LLM获取结构化输出的高级策略,帮助开发者更好地利用这些强大的AI模型。

1. 使用with_structured_output()方法

1.1 方法概述

with_structured_output()是LangChain提供的一个简单而强大的方法,可以轻松地从支持的模型中获取结构化输出。这个方法利用了模型的原生功能(如工具调用或JSON模式),为我们提供了一种统一的接口。

1.2 支持的模型

目前支持这个方法的模型包括:

• OpenAI的GPT系列模型
• Anthropic的Claude系列模型
• Google的PaLM和Gemini系列模型
• 以及其他一些支持工具调用或JSON模式的模型

1.3 使用方法

要使用这个方法,我们需要定义一个输出模式,可以是TypedDict类、JSON Schema或Pydantic类。下面是一个使用Pydantic类的示例:

from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_openai import ChatOpenAI

class Joke(BaseModel):
    """笑话结构"""
    setup: str = Field(description="笑话的铺垫")
    punchline: str = Field(description="笑话的包袱")
    rating: Optional[int] = Field(default=None, description="笑话的评分,1到10")

llm = ChatOpenAI(model="gpt-3.5-turbo")
structured_llm = llm.with_structured_output(Joke)

result = structured_llm.invoke("讲个关于猫的笑话")
print(result)

输出可能如下:

Joke(setup='为什么猫坐在电脑上?', punchline='因为它想看看鼠标在哪里!', rating=7)

2. 使用JSON模式或TypedDict

如果不想使用Pydantic,我们也可以使用JSON Schema或TypedDict来定义输出结构。这种方法的优势是可以流式传输模型输出。

from typing_extensions import Annotated, TypedDict

class Joke(TypedDict):
    """笑话结构"""