spiderTime:{'num':'12223'}
title:中国保险1xxx
summary: 请在xxx
content: 当事人11sfdffghfhgfjjd
tag:1
spiderTime:{'num':'12224'}
title:中国保险2xxx
summary: 请在xxx
content: 当事人22sfdfffdffghfjd
tag:2
spiderTime:{'num':'12225'}
title:中国保险3xxx
summary: 请在xxx
content: 当事人33sfdffggghfjd
tag:3
首先发现,数据是以空行作为分割点,所以,可以以空行拆分数据,做处理,具体代码如下:
import re
# 创建一个空列表用于后续保存每次空行分割的一条完整数据
li = []
with open('test.txt','r',encoding='utf8') as f:
while True:
cont = f.readline().replace('\n','')
if not cont: # 如果为空行,则表示取完一次数据,可以执行操作;
if not li: # 如果列表也为空,则表示数据读完了,结束循环
break
title = re.findall(r"\'title:(.*?)\'\,", str(li))[0]
content = re.findall(r"\'content:(.*?)\'\,", str(li))[0]
print('title: {},content: {}'.format(title,content))
li = []
else:
li.append(cont)
"\'title:(.*?)\'\,":表示截取title:和单引号和逗号中间的数据,(.*?):表示截取的任何内容
上述代码中通过正则进行匹配 title 和 content 内容,如果它们在每条数据中的行号固定的话,简单些可以直接通过列表索引取值。代码运行输出结果如下:
title: 中国保险 1xxx,content: 当事人 11sfdffghfhgfjjd
title: 中国保险 2xxx,content: 当事人 22sfdfffdffghfjd
title: 中国保险 3xxx,content: 当事人 33sfdffggghfjd
https://www.runoob.com/python/python-reg-expressions.html(正则表达式)
csv判断是否>=3才能确定csv表内是否为空
fielzise=os.path.getsize(os.path.join(personFilepath, datafilename))
# csv判断为空文件要大于2不为空
if fielzise <= 2:
continue