1.安装需要的库 docx库用于读取word文档中的内容,withopen方法读取可能会因为格式问题报错,所以采取这种方法读取文档内容
import docx
from langchain.text_splitter import RecursiveCharacterTextSplitter
#对于一些文档可能会报错
with open("xxxx.docx", encoding='gbk') as f:
text = f.read()
# 获取文档内容
doc = docx.Document('xxxxx.docx')
text=''
for para in doc.paragraphs:
text+=para.text
text+=" "
2.参考langchain官方文档方法对指定内容进行分割内容
# 指定字符分割文档
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=100, # 指定每块大小
chunk_overlap=20, # 指定每块可以重叠的字符数
length_function=len,
is_separator_regex=False,
separators=['指定内容']
)
texts = text_splitter.split_text(text)
for text in texts:
print(text)