使用Chonkie录制您的文本-超轻量级和闪电般快速的分块库，已准备好为您的文本添加CHONK！厌倦了制作无数个chunker？厌倦了大型库的开销？想要快速有效地对文本进行分块？Chonki帮助你-CSDN博客

本文链接：https://blog.csdn.net/2301_78755287/article/details/147195417

一、软件介绍

文末提供程序和源码下载学习

使用Chonkie录制您的文本-超轻量级和闪电般快速的分块库，已准备好为您的文本添加CHONK！厌倦了制作无数个chunker？厌倦了大型库的开销？想要快速有效地对文本进行分块？Chonki帮助你

文末提供源码下载

要安装 chonkie，请运行：

pip install chonkie

Chonkie 遵循最低安装量规则。有最喜欢的 chunker 吗？阅读我们的文档，仅安装您需要的内容不想考虑它？只需全部安装（不建议用于生产环境）

pip install chonkie[all]

下面是一个基本示例，可帮助您入门：

# First import the chunker you want from Chonkie
from chonkie import RecursiveChunker

# Initialize the chunker
chunker = RecursiveChunker()

# Chunk some text
chunks = chunker("Chonkie is the goodest boi! My favorite chunking hippo hehe.")

# Access chunks
for chunk in chunks:
print(f"Chunk: {chunk.text}")
print(f"Tokens: {chunk.token_count}")

Chonkie 提供了几个 chunker 来帮助您有效地为 RAG 应用程序拆分文本。以下是可用 chunker 的快速概述：

TokenChunker: Splits text into fixed-size token chunks.
TokenChunker：将文本拆分为固定大小的标记块。
SentenceChunker: Splits text into chunks based on sentences.
SentenceChunker：根据句子将文本拆分为块。
RecursiveChunker: Splits text hierarchically using customizable rules to create semantically meaningful chunks.
RecursiveChunker：使用可自定义的规则按层次结构拆分文本，以创建具有语义意义的块。
SemanticChunker: Splits text into chunks based on semantic similarity.
SemanticChunker：根据语义相似性将文本拆分为块。
SDPMChunker: Splits text using a Semantic Double-Pass Merge approach.
SDPMChunker：使用语义双通道合并方法拆分文本。
LateChunker: Embeds text and then splits it to have better chunk embeddings.
LateChunker：嵌入文本，然后拆分文本以获得更好的块嵌入。