使用 HTMLSectionSplitter 进行智能 HTML 文档分割：实现结构化文本处理

qq_29929123

于 2024-08-11 07:42:29 发布

阅读量327

点赞数 11

文章标签： html python linux

本文链接：https://blog.csdn.net/qq_29929123/article/details/141100718

版权

使用 HTMLSectionSplitter 进行智能 HTML 文档分割：实现结构化文本处理

引言

在处理大型 HTML 文档时，我们经常需要将其分割成更小的、有意义的片段以便于后续处理。传统的文本分割方法可能会破坏文档的结构和语义。本文将介绍 LangChain 库中的 HTMLSectionSplitter，这是一个"结构感知"的分割器，能够根据 HTML 的结构智能地分割文档，保留文本的语义完整性和上下文信息。

HTMLSectionSplitter 的工作原理

HTMLSectionSplitter 的核心思想是：

按照 HTML 元素级别分割文本
为每个chunk添加相关的元数据（如标题信息）
可以选择将具有相同元数据的元素组合在一起

这种方法的优势在于：

保持相关文本的语义分组
保留文档结构中编码的丰富上下文信息

使用 HTMLSectionSplitter

基本用法

让我们从一个简单的例子开始，看看如何使用 HTMLSectionSplitter 分割 HTML 字符串：

from langchain_text_splitters import HTMLSectionSplitter

html_string = """
    <!DOCTYPE html>
    <html>
    <body>
        <div>
            <h1>Foo</h1>
            <p>Some intro text about Foo.</p>
            <div>
                <h2>Bar main section</h2>
                <p>Some intro text about Bar.</p>
                <h3>Bar subsection 1</h3>
                <p>Some text about the first subtopic of Bar.</p>
                <h3>Bar subsection 2</h3>
                <p>Some text about the second subtopic of Bar.</p>
            </div>
            <div>
                <h2>Baz</h2>
                <p>Some text about Baz</p>
            </div>
            <br>
            <p>Some concluding text about Foo</p>
        </div>
    </body>
    </html>
"""

headers_to_split_on = [("h1", "Header 1"), ("h2", "Header 2")]

html_splitter = HTMLSectionSplitter(headers_to_split_on)
html_header_splits = html_splitter.split_text(html_string)
print(html_header_splits)

这段代码会输出以下结果：

[Document(page_content='Foo \n Some intro text about Foo.', metadata={'Header 1': 'Foo'}),
 Document(page_content='Bar main section \n Some intro text about Bar. \n Bar subsection 1 \n Some text about the first subtopic of Bar. \n Bar subsection 2 \n Some text about the second subtopic of Bar.', metadata={'Header 2': 'Bar main section'}),
 Document(page_content='Baz \n Some text about Baz \n \n \n Some concluding text about Foo', metadata={'Header 2': 'Baz'})]

结合其他分割器使用

HTMLSectionSplitter 可以与其他文本分割器（如 RecursiveCharacterTextSplitter）结合使用，形成一个分割管道。这在处理大型 HTML 文档时特别有用：

from langchain_text_splitters import RecursiveCharacterTextSplitter

# 使用前面定义的 html_string

headers_to_split_on = [
    ("h1", "Header 1"),
    ("h2", "Header 2"),
    ("h3", "Header 3"),
    ("h4", "Header 4"),
]

html_splitter = HTMLSectionSplitter(headers_to_split_on)
html_header_splits = html_splitter.split_text(html_string)

chunk_size = 500
chunk_overlap = 30
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=chunk_size, chunk_overlap=chunk_overlap
)

splits = text_splitter.split_documents(html_header_splits)
print(splits)

输出结果：

[Document(page_content='Foo \n Some intro text about Foo.', metadata={'Header 1': 'Foo'}),
 Document(page_content='Bar main section \n Some intro text about Bar.', metadata={'Header 2': 'Bar main section'}),
 Document(page_content='Bar subsection 1 \n Some text about the first subtopic of Bar.', metadata={'Header 3': 'Bar subsection 1'}),
 Document(page_content='Bar subsection 2 \n Some text about the second subtopic of Bar.', metadata={'Header 3': 'Bar subsection 2'}),
 Document(page_content='Baz \n Some text about Baz \n \n \n Some concluding text about Foo', metadata={'Header 2': 'Baz'})]

高级用法：使用 XSLT 转换

HTMLSectionSplitter 还支持使用 XSLT（可扩展样式表语言转换）来预处理 HTML。这对于处理复杂的 HTML 结构特别有用。

html_splitter = HTMLSectionSplitter(
    headers_to_split_on,
    xslt_path="/path/to/your/custom_transform.xslt"
)

注意：确保提供 XSLT 文件的绝对路径。

常见问题和解决方案

问题：分割结果不符合预期
解决方案：检查 headers_to_split_on 是否正确定义，确保它包含了文档中所有需要的标题级别。
问题：处理大型 HTML 文件时性能较低
解决方案：考虑先使用 HTMLSectionSplitter 进行粗粒度分割，然后使用 RecursiveCharacterTextSplitter 进行细粒度分割。
问题：无法处理某些特殊的 HTML 结构
解决方案：尝试使用自定义的 XSLT 转换来预处理 HTML，使其结构更适合分割。

总结

HTMLSectionSplitter 是一个强大的工具，能够智能地分割 HTML 文档，保留文档的结构和语义信息。它可以单独使用，也可以与其他分割器结合使用，为后续的文本处理任务提供高质量的输入。

进一步学习资源

LangChain 官方文档：https://python.langchain.com/docs/modules/data_connection/document_transformers/
XSLT 教程：https://www.w3schools.com/xml/xsl_intro.asp
HTML 解析库 Beautiful Soup 文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/

参考资料

LangChain Documentation. (2023). HTMLSectionSplitter. Retrieved from https://python.langchain.com/docs/modules/data_connection/document_transformers/html_section
Mozilla Developer Network. (2023). HTML basics. Retrieved from https://developer.mozilla.org/en-US/docs/Learn/Getting_started_with_the_web/HTML_basics

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—

qq_29929123

关注

11
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
使用 HTMLSectionSplitter 进行智能 HTML 文档分割：实现结构化文本处理

是一个强大的工具，能够智能地分割 HTML 文档，保留文档的结构和语义信息。它可以单独使用，也可以与其他分割器结合使用，为后续的文本处理任务提供高质量的输入。
复制链接

扫一扫