掌握Markdown分割：用MarkdownHeaderTextSplitter优化文档处理

最新推荐文章于 2025-03-20 04:14:54 发布

dfvcbipanjr

最新推荐文章于 2025-03-20 04:14:54 发布

阅读量574

点赞数 4

文章标签： python 前端 chrome

本文链接：https://blog.csdn.net/dfvcbipanjr/article/details/142798479

版权

# 引言

在处理文本数据时，尤其是在涉及嵌入和向量存储的聊天或问答应用中，分割输入文档是必不可少的一步。本文将深入介绍如何使用`MarkdownHeaderTextSplitter`来根据Markdown文件中的标题进行文本分割。

# 主要内容

## 为什么要分割Markdown？

Markdown文件通常按标题结构化。通过在特定标题组内创建块，可以更好地保留文本的上下文，从而提高处理效率。例如，当我们把一个整段嵌入时，嵌入过程会考虑文本内句子和短语之间的关系。

## 使用MarkdownHeaderTextSplitter

### 安装和基本用法

首先，你需要安装`langchain-text-splitters`库：

```bash
%pip install -qU langchain-text-splitters

接下来，我们来看一个简单的例子：

from langchain_text_splitters import MarkdownHeaderTextSplitter

markdown_document = "# Foo\n\n## Bar\n\nHi this is Jim\n\nHi this is Joe\n\n## Baz\n\nHi this is Molly"

headers_to_split_on = [
    ("#", "Header 1"),
    ("##", "Header 2"),
]

markdown_splitter = MarkdownHeaderTextSplitter(headers_to_split_on)
md_header_splits = markdown_splitter.split_text(markdown_document)
print(md_header_splits)

自定义分割行为

控制标题输出

默认情况下，MarkdownHeaderTextSplitter会从输出块的内容中去除标题。如果你想保留标题，可以通过设置strip_headers=False来实现：

markdown_splitter = MarkdownHeaderTextSplitter(headers_to_split_on, strip_headers=False)
md_header_splits = markdown_splitter.split_text(markdown_document)
print(md_header_splits)

返回每行作为单独文档

如果需要返回每一行作为单独的文档，可以使用return_each_line=True：

markdown_splitter = MarkdownHeaderTextSplitter(
    headers_to_split_on,
    return_each_line=True,
)
md_header_splits = markdown_splitter.split_text(markdown_document)
print(md_header_splits)

限制块大小

可以在每个组内应用字符级文本分割器，如RecursiveCharacterTextSplitter，以进一步控制分块大小：

from langchain_text_splitters import RecursiveCharacterTextSplitter

chunk_size = 250
chunk_overlap = 30
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=chunk_size, chunk_overlap=chunk_overlap
)

splits = text_splitter.split_documents(md_header_splits)
print(splits)