Langchain分割方式

Langchain提供了很多文本切割的工具，其中langchain默认使用RecursiveCharacterTextSplitter：

• RecursiveCharacterTextSplitter():按字符串分割文本，递归地尝试按不同的分隔符进行分割文本。
• CharacterTextSplitter()：按字符来分割文本。
• MarkdownHeaderTextSplitter()：基于指定的标题来分割markdown 文件。
• TokenTextSplitter()：按token来分割文本。
• SentenceTransformersTokenTextSplitter() : 按token来分割文本
• Language() - 用于 CPP、Python、Ruby、Markdown 等。
• NLTKTextSplitter()：使用 NLTK（自然语言工具包）按句子分割文本。
• SpacyTextSplitter() - 使用 Spacy按句子的切割文本。

使用例子：

from langchain.text_splitter import RecursiveCharacterTextSplitter, CharacterTextSplitter
 
r_splitter = RecursiveCharacterTextSplitter(
    chunk_size=26, #chunk length
    chunk_overlap=4, #overlapping string length
    # separators=["\n\n", "\n", " ", ""] #Default separator characters
    # separators=