Langchain分割方式

Langchain提供了很多文本切割的工具，其中langchain默认使用RecursiveCharacterTextSplitter：

• RecursiveCharacterTextSplitter():按字符串分割文本，递归地尝试按不同的分隔符进行分割文本。
• CharacterTextSplitter()：按字符来分割文本。
• MarkdownHeaderTextSplitter()：基于指定的标题来分割markdown 文件。
• TokenTextSplitter()：按token来分割文本。
• SentenceTransformersTokenTextSplitter() : 按token来分割文本
• Language() - 用于 CPP、Python、Ruby、Markdown 等。
• NLTKTextSplitter()：使用 NLTK（自然语言工具包）按句子分割文本。
• SpacyTextSplitter() - 使用 Spacy按句子的切割文本。

使用例子：

from langchain.text_splitter import RecursiveCharacterTextSplitter, CharacterTextSplitter
 
r_splitter = RecursiveCharacterTextSplitter(
    chunk_size=26, #chunk length
    chunk_overlap=4, #overlapping string length
    # separators=["\n\n", "\n", " ", ""] #Default separator characters
    # separators=["\n\n", "\n", "(?<=\. )", " ", ""] # 分割标识有以.结尾
  
)
 
#Split string
text1 = 'abcdefghijklmnopqrstuvwxyz'
r_splitter.split_text(text1)##

c_splitter = CharacterTextSplitter(
    chunk_size=26,分割长度
    chunk_overlap=4， # 重复数字个数
    # separator = ' ' #分割字符
)
 
text3 = "a b c d e f g h i j k l m n o p q r s t u v w x y z"
c_splitter.split_text(text3)

from langchain.text_splitter import CharacterTextSplitter
 
#创建分割器
text_splitter = CharacterTextSplitter(
    separator="\n", # 设置单换行符作为分隔符
    chunk_size=1000, # 设置块的大小为1000个字符
    chunk_overlap=150, # 设置重叠字符为150个字符
    length_function=len # 长度函数设置为python的len函数
)
 
#分割文档
docs = text_splitter.split_documents(pages)

from langchain.text_splitter import TokenTextSplitter
 
text_splitter = TokenTextSplitter(chunk_size=1, chunk_overlap=0)
 
text1 = "foo bar bazzyfoo" 
text_splitter.split_text(text1)

# 如果是文档，则下面分割 pages是打开的文档
text_splitter = TokenTextSplitter(chunk_size=10, chunk_overlap=0)
 
docs = text_splitter.split_documents(pages)
 
len(docs)