langchain实现对word文档按指定内容(标题)分割内容

1.安装需要的库  docx库用于读取word文档中的内容,withopen方法读取可能会因为格式问题报错,所以采取这种方法读取文档内容

import docx
from langchain.text_splitter import RecursiveCharacterTextSplitter

#对于一些文档可能会报错
with open("xxxx.docx", encoding='gbk') as f:
    text = f.read()


# 获取文档内容
doc = docx.Document('xxxxx.docx')
text=''
for para in doc.paragraphs:
    text+=para.text
    text+=" "

2.参考langchain官方文档方法对指定内容进行分割内容

# 指定字符分割文档
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,  # 指定每块大小
    chunk_overlap=20,  # 指定每块可以重叠的字符数
    length_function=len,
    is_separator_regex=False,
    separators=['指定内容']
)
texts = text_splitter.split_text(text)

for text in texts:
 print(text)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值