SentenceSplitter 代码功能详解

SentenceSplitter 代码功能详解

SentenceSplitter 是一个用于文本分割的类，特别设计用于保持句子和段落的完整性。与基本的 TokenTextSplitter 相比，它减少了在节点块末尾出现不完整句子的可能性。

主要功能

1. 智能分割：优先保持完整句子和段落的完整性
2. 多级分割策略：采用从粗到细的分割策略
3. 重叠控制：支持块之间的重叠以保持上下文
4. 元数据处理：可以处理包含元数据的文本

核心组件

初始化参数

• chunk_size：每个块的最大 token 数量（默认 1024）
• chunk_overlap：块之间的 token 重叠量（默认 200）
• separator：默认分隔符（空格）
• paragraph_separator：段落分隔符（默认 \n\n\n）
• secondary_chunking_regex：备用正则表达式用于句子分割

分割策略层级

1. 第一级分割：

   • 按段落分隔符分割
   • 使用句子分词器（默认 NLTK 句子分词器）

2. 第二级分割（当第一级分割不够细时）：

   • 按备用正则表达式分割
   • 按默认分隔符（空格）分割
   • 按字符分割

核心方法

1. split_text(text: str)：基础分割方法
2. split_text_metadata_aware(text: str, metadata_str: str)：考虑元数据长度的分割方法
3. _split(text: str, chunk_size: int)：实际执行分割的内部方法
4. _merge(splits: List[_Split], chunk_size: int)：合并小分割为适当大小的块

辅助类

_Split 数据类，包含：

• text：分割后的文本
• is_sentence：标记是否为完整句子
• token_size：文本的 token 长度

工作流程

1. 预处理：检查文本是否为空
2. 分割阶段：
   • 尝试用高级分割方法（段落、句子）
   • 如果分割后仍太大，递归使用更细的分割方法
3. 合并阶段：
   • 将小分割合并为适当大小的块
   • 处理重叠部分
4. 后处理：
   • 移除空白块
   • 去除首尾空白

特点

1. 递归分割：对于过大的分割块会递归应用更细的分割策略
2. 智能重叠：从上一个块末尾获取重叠内容，保持上下文
3. 元数据感知：自动调整块大小以容纳元数据
4. 错误处理：检查元数据是否过长等边界情况

使用场景

这种分割器特别适合：

• 需要保持句子完整性的 NLP 任务
• 处理结构化文档（如包含段落）
• 需要块间重叠以保持上下文连贯性的应用
• 需要处理元数据的场景

通过这种多级分割策略，SentenceSplitter 能够在保持语义完整性的同时，有效地将长文本分割为适当大小的块。