高效数据提取技巧：无需工具调用，直接从LLM提取结构化信息

最新推荐文章于 2025-03-02 09:43:46 发布

bhawfgrcbtwny

最新推荐文章于 2025-03-02 09:43:46 发布

阅读量428

点赞数 9

文章标签： python

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142914738

版权

# 高效数据提取技巧：无需工具调用，直接从LLM提取结构化信息

## 引言

在现代应用中，提取结构化信息是一个常见需求。传统方法通常依赖工具和API调用，但借助于大型语言模型（LLM），我们可以通过设计良好的提示（prompt）直接生成结构化输出。这篇文章旨在介绍如何在不使用工具调用功能的情况下，从LLM中提取结构化信息。

## 主要内容

### 选择合适的LLM

首先，您需要选择一个适合您的任务的LLM。以下是一些可用的选项：

- OpenAI
- Anthropic
- Azure
- Google
- Cohere
- NVIDIA
- FireworksAI
- Groq
- MistralAI
- TogetherAI

### 设置API连接

在本示例中，我们将以OpenAI的模型为例。

```python
import getpass
import os

# 设置API密钥
os.environ["OPENAI_API_KEY"] = getpass.getpass()

from langchain_openai import ChatOpenAI

# 选择模型
model = ChatOpenAI(model="gpt-4o-mini")

使用PydanticOutputParser进行输出解析

通过使用PydanticOutputParser，可以将模型的输出解析成期望的Python对象。

from typing import List
from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field

class Person(BaseModel):
    name: str = Field(..., description="The name of the person")
    height_in_meters: float = Field(..., description="The height of the person in meters.")

class People(BaseModel):
    people: List[Person]

# 设置解析器
parser = PydanticOutputParser(pydantic_object=People)

# 提示模板
prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "Answer the user query. Wrap the output in `json` tags\n{format_instructions}"),
        ("human", "{query}"),
    ]
).partial(format_instructions=parser.get_format_instructions())

定义并执行链

链式调用模型和解析器，将查询输入并获取结构化输出。

query = "Anna is 23 years old and she is 6 feet tall"
chain = prompt | model | parser
result = chain.invoke({"query": query})

print(result)
# 输出: People(people=[Person(name='Anna', height_in_meters=1.83)])