大语言模型分词的 chunk_size 和 chunk_overlap 说明和验证

最新推荐文章于 2025-05-09 15:42:07 发布

原创最新推荐文章于 2025-05-09 15:42:07 发布

· 1.2w 阅读

30 ·

版权

文章标签：

#语言模型 #人工智能 #自然语言处理 #chunk_size #chunk_overlap

LINUX 专栏收录该内容

914 篇文章

订阅专栏

文章介绍了大语言模型在处理长文本时的chunk_size和chunk_overlap参数，通过示例展示了不同设置如何影响文本切分，说明了合理设置这两个参数对保证文本连续性和处理效率的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 什么是 chunk_size 和 chunk_overlap

对于大型语言模型如GPT-3等来说,chunk_size和chunk_overlap通常指的是文本序列的切分参数:

chunk_size: 对输入文本序列进行切分的最大长度。大语言模型一般会限制最大输入序列长度,比如GPT-3的最大输入长度是2048个token。为了处理更长的文本,需要切分成多个chunk,chunk_size控制每个chunk的最大长度。
chunk_overlap: 相邻两个chunk之间的重叠token数量。为了保证文本语义的连贯性,相邻chunk会有一定的重叠。chunk_overlap控制这个重叠区域的大小。
举例来说,如果chunk_size设为1024,chunk_overlap设为128,则对一个长度为2560的文本序列,会切分成3个chunk:

chunk 1: 第1-1024个token
chunk 2: 第897-1920个token (与chunk 1重叠128个)
chunk 3: 第1793-2560个token (与chunk 2重叠128个)
这样的切分方式既满足了最大长度限制,也保证了相邻chunk间语义的衔接。适当的chunk大小和重叠可以提升大语言模型处理长文本的流畅性和连贯性。

2. 实际验证

先创建要给测试文档，命名为 sidamingzhu.txt，里面包括了“三打白骨精”、“桃园结义”、"武松打虎"的故事。


《西游记》中“三打白骨精”的故事原文:

话说唐僧师徒四人西天取经，途经白虎岭。

白虎岭上有个妖怪，名叫白骨精。

白骨精是一个老妖怪，她已经死了几百年，只剩下一堆白骨。

她为了吃唐僧肉，就变幻成一个美丽的女子，来引诱唐僧。

孙悟空知道白骨精是妖怪，就去阻止她。

白骨精见孙悟空来，就变幻成一个村姑，说自己是来卖枣的。

孙悟空不相信，就用金箍棒打死了她。

白骨精死了，但她并没有死透。

她又变幻成一个老妇人，来找唐僧。

孙悟空又去阻止她，又用金箍棒打死了她。

白骨精死了两次，但她还是没有死透。

她又变幻成一个老公公，来找唐僧。

孙悟空又去阻止她，又用金箍棒打死了她。

唐僧见孙悟空三次打死人，就很生气。

他把孙悟空赶回了花果山。

孙悟空知道唐僧被妖怪迷惑，就再次赶来救唐僧。

他找到了白骨精，用金箍棒打死了她。

唐僧这才知道孙悟空是好心，就把孙悟空接回了队伍。

《三国演义》中“桃园三结义”的故事原文:

话说宴罢,天色已晚,众人散去。

刘备留下关张二人,以兄事之。

过了几日,谋曰:“吾与二君,虽异姓,然宗室也。

今天下大乱,正要人才。

若能俱发义心,救动仓皇;联合英雄,扶大道。

此吾三人之有也。

”张飞曰:“若要发大义,当如之何?”

刘备曰:“今日天色晚了,明日清早,我们同去桃园,契约志同。”

次日,三人同至桃园,刘备事先示意关张二人,各持一枝桃花,致告天地曰:

“吾等三人,虽异姓,宗室也;今天下大乱,列国混战,正当汉室衰微之秋。

此时天下豪杰,并起义兵,各据州郡。唯有美意,救汉室于危亡。

吾等三人,不求得州牧,不求得侯王,愿出心肝荐轸,誓将清君侧,兴复汉室!此心此义,使天日月为证,使星辰为鉴,无贰其志,殊死随之。

如背盟约,无妾百福!”

三人各自对天地、日月星辰发誓,然后两两互持桃枝彼此磕头,作兄弟之礼,场面极为隆重感人。

自此,刘关张三人正式结拜为交心之兄弟。

《水浒传》中“武松打虎”的故事原文:

武大郎忍痛抽筋,往后瞧时,只见那猛虎抡起铁棒,向自己直扑将来。

武大郎使开双戟,侧身让过。那猛虎扑了一空,回头又扑。

武大郎举戟架住,口中大呼:“我奉王命,捉你回去论罪!”

那猛虎被他这一架,戟钢扎疼了手,发起狠来,向武大郎直扑。

武大郎使开戟去迎战。二人战了十余合,打得难解难分。

这虎本是山中猛虫,十分凶悍。

这一场恶战,战不到五十合,武大郎手软筋麻,使不动戟,只得拔了武松的宝贝青龙偃月刀,向前迎敌。

这一场好杀:武大郎左闪右避,虎扑不着;虎右藏左藏,武大郎砍不着。

打到第三十合,那猛虎扑空,回头待扑,武大郎举刀往下一砍,砍断它的两只前腿。

那猛虎痛得嗷嗷乱叫,后腿着地,要向武大郎扑将来。

武大郎顺手又一刀,把它一只后腿也砍断。

示例代码，

# import
from langchain.embeddings.sentence_transformer import SentenceTransformerEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import Chroma
from langchain.document_loaders import TextLoader

# load the document and split it into chunks
loader = TextLoader(".\sidamingzhu.txt", encoding="utf-8")
documents = loader.load()

设置 chunk_size=100，

# split it into chunks
text_splitter = CharacterTextSplitter(chunk_size=100, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
print("len(docs)：", len(docs))
for doc in docs:
    print("="*50)
    print(len(doc.page_content),":", doc)

输出结果，

len(docs)： 14
==================================================
86 : page_content='《西游记》中“三打白骨精”的故事原文:\n\n话说唐僧师徒四人西天取经，途经白虎岭。\n\n白虎岭上有个妖怪，名叫白骨精。\n\n白骨精是一个老妖怪，她已经死了几百年，只剩下一堆白骨。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
94 : page_content='她为了吃唐僧肉，就变幻成一个美丽的女子，来引诱唐僧。\n\n孙悟空知道白骨精是妖怪，就去阻止她。\n\n白骨精见孙悟空来，就变幻成一个村姑，说自己是来卖枣的。\n\n孙悟空不相信，就用金箍棒打死了她。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
90 : page_content='白骨精死了，但她并没有死透。\n\n她又变幻成一个老妇人，来找唐僧。\n\n孙悟空又去阻止她，又用金箍棒打死了她。\n\n白骨精死了两次，但她还是没有死透。\n\n她又变幻成一个老公公，来找唐僧。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
95 : page_content='孙悟空又去阻止她，又用金箍棒打死了她。\n\n唐僧见孙悟空三次打死人，就很生气。\n\n他把孙悟空赶回了花果山。\n\n孙悟空知道唐僧被妖怪迷惑，就再次赶来救唐僧。\n\n他找到了白骨精，用金箍棒打死了她。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
79 : page_content='唐僧这才知道孙悟空是好心，就把孙悟空接回了队伍。\n\n《三国演义》中“桃园三结义”的故事原文:\n\n话说宴罢,天色已晚,众人散去。\n\n刘备留下关张二人,以兄事之。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
89 : page_content='过了几日,谋曰:“吾与二君,虽异姓,然宗室也。\n\n今天下大乱,正要人才。\n\n若能俱发义心,救动仓皇;联合英雄,扶大道。\n\n此吾三人之有也。\n\n”张飞曰:“若要发大义,当如之何?”' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
66 : page_content='刘备曰:“今日天色晚了,明日清早,我们同去桃园,契约志同。”\n\n次日,三人同至桃园,刘备事先示意关张二人,各持一枝桃花,致告天地曰:' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
65 : page_content='“吾等三人,虽异姓,宗室也;今天下大乱,列国混战,正当汉室衰微之秋。\n\n此时天下豪杰,并起义兵,各据州郡。唯有美意,救汉室于危亡。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
76 : page_content='吾等三人,不求得州牧,不求得侯王,愿出心肝荐轸,誓将清君侧,兴复汉室!此心此义,使天日月为证,使星辰为鉴,无贰其志,殊死随之。\n\n如背盟约,无妾百福!”' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
84 : page_content='三人各自对天地、日月星辰发誓,然后两两互持桃枝彼此磕头,作兄弟之礼,场面极为隆重感人。\n\n自此,刘关张三人正式结拜为交心之兄弟。\n\n《水浒传》中“武松打虎”的故事原文:' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
88 : page_content='武大郎忍痛抽筋,往后瞧时,只见那猛虎抡起铁棒,向自己直扑将来。\n\n武大郎使开双戟,侧身让过。那猛虎扑了一空,回头又扑。\n\n武大郎举戟架住,口中大呼:“我奉王命,捉你回去论罪!”' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
71 : page_content='那猛虎被他这一架,戟钢扎疼了手,发起狠来,向武大郎直扑。\n\n武大郎使开戟去迎战。二人战了十余合,打得难解难分。\n\n这虎本是山中猛虫,十分凶悍。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
80 : page_content='这一场恶战,战不到五十合,武大郎手软筋麻,使不动戟,只得拔了武松的宝贝青龙偃月刀,向前迎敌。\n\n这一场好杀:武大郎左闪右避,虎扑不着;虎右藏左藏,武大郎砍不着。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
84 : page_content='打到第三十合,那猛虎扑空,回头待扑,武大郎举刀往下一砍,砍断它的两只前腿。\n\n那猛虎痛得嗷嗷乱叫,后腿着地,要向武大郎扑将来。\n\n武大郎顺手又一刀,把它一只后腿也砍断。' metadata={'source': '.\\sidamingzhu.txt'}

设置 chunk_size=200，

# split it into chunks
text_splitter = CharacterTextSplitter(chunk_size=200, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
print("len(docs)：", len(docs))
for doc in docs:
    print("="*50)
    print(len(doc.page_content),":", doc)

输出结果，

len(docs)： 7
==================================================
198 : page_content='《西游记》中“三打白骨精”的故事原文:\n\n话说唐僧师徒四人西天取经，途经白虎岭。\n\n白虎岭上有个妖怪，名叫白骨精。\n\n白骨精是一个老妖怪，她已经死了几百年，只剩下一堆白骨。\n\n她为了吃唐僧肉，就变幻成一个美丽的女子，来引诱唐僧。\n\n孙悟空知道白骨精是妖怪，就去阻止她。\n\n白骨精见孙悟空来，就变幻成一个村姑，说自己是来卖枣的。\n\n孙悟空不相信，就用金箍棒打死了她。\n\n白骨精死了，但她并没有死透。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
197 : page_content='她又变幻成一个老妇人，来找唐僧。\n\n孙悟空又去阻止她，又用金箍棒打死了她。\n\n白骨精死了两次，但她还是没有死透。\n\n她又变幻成一个老公公，来找唐僧。\n\n孙悟空又去阻止她，又用金箍棒打死了她。\n\n唐僧见孙悟空三次打死人，就很生气。\n\n他把孙悟空赶回了花果山。\n\n孙悟空知道唐僧被妖怪迷惑，就再次赶来救唐僧。\n\n他找到了白骨精，用金箍棒打死了她。\n\n唐僧这才知道孙悟空是好心，就把孙悟空接回了队伍。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
176 : page_content='《三国演义》中“桃园三结义”的故事原文:\n\n话说宴罢,天色已晚,众人散去。\n\n刘备留下关张二人,以兄事之。\n\n过了几日,谋曰:“吾与二君,虽异姓,然宗室也。\n\n今天下大乱,正要人才。\n\n若能俱发义心,救动仓皇;联合英雄,扶大道。\n\n此吾三人之有也。\n\n”张飞曰:“若要发大义,当如之何?”\n\n刘备曰:“今日天色晚了,明日清早,我们同去桃园,契约志同。”' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
179 : page_content='次日,三人同至桃园,刘备事先示意关张二人,各持一枝桃花,致告天地曰:\n\n“吾等三人,虽异姓,宗室也;今天下大乱,列国混战,正当汉室衰微之秋。\n\n此时天下豪杰,并起义兵,各据州郡。唯有美意,救汉室于危亡。\n\n吾等三人,不求得州牧,不求得侯王,愿出心肝荐轸,誓将清君侧,兴复汉室!此心此义,使天日月为证,使星辰为鉴,无贰其志,殊死随之。\n\n如背盟约,无妾百福!”' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
174 : page_content='三人各自对天地、日月星辰发誓,然后两两互持桃枝彼此磕头,作兄弟之礼,场面极为隆重感人。\n\n自此,刘关张三人正式结拜为交心之兄弟。\n\n《水浒传》中“武松打虎”的故事原文:\n\n武大郎忍痛抽筋,往后瞧时,只见那猛虎抡起铁棒,向自己直扑将来。\n\n武大郎使开双戟,侧身让过。那猛虎扑了一空,回头又扑。\n\n武大郎举戟架住,口中大呼:“我奉王命,捉你回去论罪!”' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
192 : page_content='那猛虎被他这一架,戟钢扎疼了手,发起狠来,向武大郎直扑。\n\n武大郎使开戟去迎战。二人战了十余合,打得难解难分。\n\n这虎本是山中猛虫,十分凶悍。\n\n这一场恶战,战不到五十合,武大郎手软筋麻,使不动戟,只得拔了武松的宝贝青龙偃月刀,向前迎敌。\n\n这一场好杀:武大郎左闪右避,虎扑不着;虎右藏左藏,武大郎砍不着。\n\n打到第三十合,那猛虎扑空,回头待扑,武大郎举刀往下一砍,砍断它的两只前腿。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
45 : page_content='那猛虎痛得嗷嗷乱叫,后腿着地,要向武大郎扑将来。\n\n武大郎顺手又一刀,把它一只后腿也砍断。' metadata={'source': '.\\sidamingzhu.txt'}

设置 chunk_size=300，

# split it into chunks
text_splitter = CharacterTextSplitter(chunk_size=300, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
print("len(docs)：", len(docs))
for doc in docs:
    print("="*50)
    print(len(doc.page_content),":", doc)

输出结果，

len(docs)： 4
==================================================
295 : page_content='《西游记》中“三打白骨精”的故事原文:\n\n话说唐僧师徒四人西天取经，途经白虎岭。\n\n白虎岭上有个妖怪，名叫白骨精。\n\n白骨精是一个老妖怪，她已经死了几百年，只剩下一堆白骨。\n\n她为了吃唐僧肉，就变幻成一个美丽的女子，来引诱唐僧。\n\n孙悟空知道白骨精是妖怪，就去阻止她。\n\n白骨精见孙悟空来，就变幻成一个村姑，说自己是来卖枣的。\n\n孙悟空不相信，就用金箍棒打死了她。\n\n白骨精死了，但她并没有死透。\n\n她又变幻成一个老妇人，来找唐僧。\n\n孙悟空又去阻止她，又用金箍棒打死了她。\n\n白骨精死了两次，但她还是没有死透。\n\n她又变幻成一个老公公，来找唐僧。\n\n孙悟空又去阻止她，又用金箍棒打死了她。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
278 : page_content='唐僧见孙悟空三次打死人，就很生气。\n\n他把孙悟空赶回了花果山。\n\n孙悟空知道唐僧被妖怪迷惑，就再次赶来救唐僧。\n\n他找到了白骨精，用金箍棒打死了她。\n\n唐僧这才知道孙悟空是好心，就把孙悟空接回了队伍。\n\n《三国演义》中“桃园三结义”的故事原文:\n\n话说宴罢,天色已晚,众人散去。\n\n刘备留下关张二人,以兄事之。\n\n过了几日,谋曰:“吾与二君,虽异姓,然宗室也。\n\n今天下大乱,正要人才。\n\n若能俱发义心,救动仓皇;联合英雄,扶大道。\n\n此吾三人之有也。\n\n”张飞曰:“若要发大义,当如之何?”\n\n刘备曰:“今日天色晚了,明日清早,我们同去桃园,契约志同。”' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
298 : page_content='次日,三人同至桃园,刘备事先示意关张二人,各持一枝桃花,致告天地曰:\n\n“吾等三人,虽异姓,宗室也;今天下大乱,列国混战,正当汉室衰微之秋。\n\n此时天下豪杰,并起义兵,各据州郡。唯有美意,救汉室于危亡。\n\n吾等三人,不求得州牧,不求得侯王,愿出心肝荐轸,誓将清君侧,兴复汉室!此心此义,使天日月为证,使星辰为鉴,无贰其志,殊死随之。\n\n如背盟约,无妾百福!”\n\n三人各自对天地、日月星辰发誓,然后两两互持桃枝彼此磕头,作兄弟之礼,场面极为隆重感人。\n\n自此,刘关张三人正式结拜为交心之兄弟。\n\n《水浒传》中“武松打虎”的故事原文:\n\n武大郎忍痛抽筋,往后瞧时,只见那猛虎抡起铁棒,向自己直扑将来。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
296 : page_content='武大郎使开双戟,侧身让过。那猛虎扑了一空,回头又扑。\n\n武大郎举戟架住,口中大呼:“我奉王命,捉你回去论罪!”\n\n那猛虎被他这一架,戟钢扎疼了手,发起狠来,向武大郎直扑。\n\n武大郎使开戟去迎战。二人战了十余合,打得难解难分。\n\n这虎本是山中猛虫,十分凶悍。\n\n这一场恶战,战不到五十合,武大郎手软筋麻,使不动戟,只得拔了武松的宝贝青龙偃月刀,向前迎敌。\n\n这一场好杀:武大郎左闪右避,虎扑不着;虎右藏左藏,武大郎砍不着。\n\n打到第三十合,那猛虎扑空,回头待扑,武大郎举刀往下一砍,砍断它的两只前腿。\n\n那猛虎痛得嗷嗷乱叫,后腿着地,要向武大郎扑将来。\n\n武大郎顺手又一刀,把它一只后腿也砍断。' metadata={'source': '.\\sidamingzhu.txt'}

保持 chunk_size=300，设置 chunk_overlap=50，

# split it into chunks
text_splitter = CharacterTextSplitter(chunk_size=300, chunk_overlap=50)
docs = text_splitter.split_documents(documents)
print("len(docs)：", len(docs))
for doc in docs:
    print("="*50)
    print(len(doc.page_content),":", doc)

输出结果，

len(docs)： 5
==================================================
295 : page_content='《西游记》中“三打白骨精”的故事原文:\n\n话说唐僧师徒四人西天取经，途经白虎岭。\n\n白虎岭上有个妖怪，名叫白骨精。\n\n白骨精是一个老妖怪，她已经死了几百年，只剩下一堆白骨。\n\n她为了吃唐僧肉，就变幻成一个美丽的女子，来引诱唐僧。\n\n孙悟空知道白骨精是妖怪，就去阻止她。\n\n白骨精见孙悟空来，就变幻成一个村姑，说自己是来卖枣的。\n\n孙悟空不相信，就用金箍棒打死了她。\n\n白骨精死了，但她并没有死透。\n\n她又变幻成一个老妇人，来找唐僧。\n\n孙悟空又去阻止她，又用金箍棒打死了她。\n\n白骨精死了两次，但她还是没有死透。\n\n她又变幻成一个老公公，来找唐僧。\n\n孙悟空又去阻止她，又用金箍棒打死了她。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
285 : page_content='她又变幻成一个老公公，来找唐僧。\n\n孙悟空又去阻止她，又用金箍棒打死了她。\n\n唐僧见孙悟空三次打死人，就很生气。\n\n他把孙悟空赶回了花果山。\n\n孙悟空知道唐僧被妖怪迷惑，就再次赶来救唐僧。\n\n他找到了白骨精，用金箍棒打死了她。\n\n唐僧这才知道孙悟空是好心，就把孙悟空接回了队伍。\n\n《三国演义》中“桃园三结义”的故事原文:\n\n话说宴罢,天色已晚,众人散去。\n\n刘备留下关张二人,以兄事之。\n\n过了几日,谋曰:“吾与二君,虽异姓,然宗室也。\n\n今天下大乱,正要人才。\n\n若能俱发义心,救动仓皇;联合英雄,扶大道。\n\n此吾三人之有也。\n\n”张飞曰:“若要发大义,当如之何?”' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
286 : page_content='此吾三人之有也。\n\n”张飞曰:“若要发大义,当如之何?”\n\n刘备曰:“今日天色晚了,明日清早,我们同去桃园,契约志同。”\n\n次日,三人同至桃园,刘备事先示意关张二人,各持一枝桃花,致告天地曰:\n\n“吾等三人,虽异姓,宗室也;今天下大乱,列国混战,正当汉室衰微之秋。\n\n此时天下豪杰,并起义兵,各据州郡。唯有美意,救汉室于危亡。\n\n吾等三人,不求得州牧,不求得侯王,愿出心肝荐轸,誓将清君侧,兴复汉室!此心此义,使天日月为证,使星辰为鉴,无贰其志,殊死随之。\n\n如背盟约,无妾百福!”\n\n三人各自对天地、日月星辰发誓,然后两两互持桃枝彼此磕头,作兄弟之礼,场面极为隆重感人。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
295 : page_content='三人各自对天地、日月星辰发誓,然后两两互持桃枝彼此磕头,作兄弟之礼,场面极为隆重感人。\n\n自此,刘关张三人正式结拜为交心之兄弟。\n\n《水浒传》中“武松打虎”的故事原文:\n\n武大郎忍痛抽筋,往后瞧时,只见那猛虎抡起铁棒,向自己直扑将来。\n\n武大郎使开双戟,侧身让过。那猛虎扑了一空,回头又扑。\n\n武大郎举戟架住,口中大呼:“我奉王命,捉你回去论罪!”\n\n那猛虎被他这一架,戟钢扎疼了手,发起狠来,向武大郎直扑。\n\n武大郎使开戟去迎战。二人战了十余合,打得难解难分。\n\n这虎本是山中猛虫,十分凶悍。\n\n这一场恶战,战不到五十合,武大郎手软筋麻,使不动戟,只得拔了武松的宝贝青龙偃月刀,向前迎敌。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
166 : page_content='这一场恶战,战不到五十合,武大郎手软筋麻,使不动戟,只得拔了武松的宝贝青龙偃月刀,向前迎敌。\n\n这一场好杀:武大郎左闪右避,虎扑不着;虎右藏左藏,武大郎砍不着。\n\n打到第三十合,那猛虎扑空,回头待扑,武大郎举刀往下一砍,砍断它的两只前腿。\n\n那猛虎痛得嗷嗷乱叫,后腿着地,要向武大郎扑将来。\n\n武大郎顺手又一刀,把它一只后腿也砍断。' metadata={'source': '.\\sidamingzhu.txt'}

保持 chunk_size=300，设置 chunk_overlap=100，

# split it into chunks
text_splitter = CharacterTextSplitter(chunk_size=300, chunk_overlap=100)
docs = text_splitter.split_documents(documents)
print("len(docs)：", len(docs))
for doc in docs:
    print("="*50)
    print(len(doc.page_content),":", doc)

输出结果，

len(docs)： 6
==================================================
295 : page_content='《西游记》中“三打白骨精”的故事原文:\n\n话说唐僧师徒四人西天取经，途经白虎岭。\n\n白虎岭上有个妖怪，名叫白骨精。\n\n白骨精是一个老妖怪，她已经死了几百年，只剩下一堆白骨。\n\n她为了吃唐僧肉，就变幻成一个美丽的女子，来引诱唐僧。\n\n孙悟空知道白骨精是妖怪，就去阻止她。\n\n白骨精见孙悟空来，就变幻成一个村姑，说自己是来卖枣的。\n\n孙悟空不相信，就用金箍棒打死了她。\n\n白骨精死了，但她并没有死透。\n\n她又变幻成一个老妇人，来找唐僧。\n\n孙悟空又去阻止她，又用金箍棒打死了她。\n\n白骨精死了两次，但她还是没有死透。\n\n她又变幻成一个老公公，来找唐僧。\n\n孙悟空又去阻止她，又用金箍棒打死了她。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
290 : page_content='她又变幻成一个老妇人，来找唐僧。\n\n孙悟空又去阻止她，又用金箍棒打死了她。\n\n白骨精死了两次，但她还是没有死透。\n\n她又变幻成一个老公公，来找唐僧。\n\n孙悟空又去阻止她，又用金箍棒打死了她。\n\n唐僧见孙悟空三次打死人，就很生气。\n\n他把孙悟空赶回了花果山。\n\n孙悟空知道唐僧被妖怪迷惑，就再次赶来救唐僧。\n\n他找到了白骨精，用金箍棒打死了她。\n\n唐僧这才知道孙悟空是好心，就把孙悟空接回了队伍。\n\n《三国演义》中“桃园三结义”的故事原文:\n\n话说宴罢,天色已晚,众人散去。\n\n刘备留下关张二人,以兄事之。\n\n过了几日,谋曰:“吾与二君,虽异姓,然宗室也。\n\n今天下大乱,正要人才。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
279 : page_content='《三国演义》中“桃园三结义”的故事原文:\n\n话说宴罢,天色已晚,众人散去。\n\n刘备留下关张二人,以兄事之。\n\n过了几日,谋曰:“吾与二君,虽异姓,然宗室也。\n\n今天下大乱,正要人才。\n\n若能俱发义心,救动仓皇;联合英雄,扶大道。\n\n此吾三人之有也。\n\n”张飞曰:“若要发大义,当如之何?”\n\n刘备曰:“今日天色晚了,明日清早,我们同去桃园,契约志同。”\n\n次日,三人同至桃园,刘备事先示意关张二人,各持一枝桃花,致告天地曰:\n\n“吾等三人,虽异姓,宗室也;今天下大乱,列国混战,正当汉室衰微之秋。\n\n此时天下豪杰,并起义兵,各据州郡。唯有美意,救汉室于危亡。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
290 : page_content='“吾等三人,虽异姓,宗室也;今天下大乱,列国混战,正当汉室衰微之秋。\n\n此时天下豪杰,并起义兵,各据州郡。唯有美意,救汉室于危亡。\n\n吾等三人,不求得州牧,不求得侯王,愿出心肝荐轸,誓将清君侧,兴复汉室!此心此义,使天日月为证,使星辰为鉴,无贰其志,殊死随之。\n\n如背盟约,无妾百福!”\n\n三人各自对天地、日月星辰发誓,然后两两互持桃枝彼此磕头,作兄弟之礼,场面极为隆重感人。\n\n自此,刘关张三人正式结拜为交心之兄弟。\n\n《水浒传》中“武松打虎”的故事原文:\n\n武大郎忍痛抽筋,往后瞧时,只见那猛虎抡起铁棒,向自己直扑将来。\n\n武大郎使开双戟,侧身让过。那猛虎扑了一空,回头又扑。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
284 : page_content='自此,刘关张三人正式结拜为交心之兄弟。\n\n《水浒传》中“武松打虎”的故事原文:\n\n武大郎忍痛抽筋,往后瞧时,只见那猛虎抡起铁棒,向自己直扑将来。\n\n武大郎使开双戟,侧身让过。那猛虎扑了一空,回头又扑。\n\n武大郎举戟架住,口中大呼:“我奉王命,捉你回去论罪!”\n\n那猛虎被他这一架,戟钢扎疼了手,发起狠来,向武大郎直扑。\n\n武大郎使开戟去迎战。二人战了十余合,打得难解难分。\n\n这虎本是山中猛虫,十分凶悍。\n\n这一场恶战,战不到五十合,武大郎手软筋麻,使不动戟,只得拔了武松的宝贝青龙偃月刀,向前迎敌。\n\n这一场好杀:武大郎左闪右避,虎扑不着;虎右藏左藏,武大郎砍不着。' metadata={'source': '.\\sidamingzhu.txt'}
==================================================
182 : page_content='这虎本是山中猛虫,十分凶悍。\n\n这一场恶战,战不到五十合,武大郎手软筋麻,使不动戟,只得拔了武松的宝贝青龙偃月刀,向前迎敌。\n\n这一场好杀:武大郎左闪右避,虎扑不着;虎右藏左藏,武大郎砍不着。\n\n打到第三十合,那猛虎扑空,回头待扑,武大郎举刀往下一砍,砍断它的两只前腿。\n\n那猛虎痛得嗷嗷乱叫,后腿着地,要向武大郎扑将来。\n\n武大郎顺手又一刀,把它一只后腿也砍断。' metadata={'source': '.\\sidamingzhu.txt'}

完结！