python读取txt文件以空行作为数据的切分处理

python读取txt文件以空行作为数据的切分处理

先举个例子,如下test.txt文件数据,需要提取每条数据的title和content, 单独保存到文件中:
复制代码

spiderTime:{'num':'12223'}
title:中国保险1xxx
summary: 请在xxx
content: 当事人11sfdffghfhgfjjd
tag:1

spiderTime:{'num':'12224'}
title:中国保险2xxx
summary: 请在xxx
content: 当事人22sfdfffdffghfjd
tag:2

spiderTime:{'num':'12225'}
title:中国保险3xxx
summary: 请在xxx
content: 当事人33sfdffggghfjd
tag:3

复制代码

首先发现,数据是以空行作为分割点,所以,可以以空行拆分数据,做处理,具体代码如下:
复制代码

import re
# 创建一个空列表用于后续保存每次空行分割的一条完整数据
li = []
with open('test.txt','r',encoding='utf8') as f:
    while True:
        cont = f.readline().replace('\n','')
        if not cont:  # 如果为空行,则表示取完一次数据,可以执行操作;
            if not li:  # 如果列表也为空,则表示数据读完了,结束循环
                break
            title = re.findall(r"\'title:(.*?)\'\,", str(li))[0]
            content = re.findall(r"\'content:(.*?)\'\,", str(li))[0]
            print('title: {},content: {}'.format(title,content))
            li = []
        else:
            li.append(cont)

复制代码

上述代码中通过正则进行匹配title和content内容,如果它们在每条数据中的行号固定的话,简单些可以直接通过列表索引取值. 代码运行输出结果如下:

title: 中国保险1xxx,content: 当事人11sfdffghfhgfjjd
title: 中国保险2xxx,content: 当事人22sfdfffdffghfjd
title: 中国保险3xxx,content: 当事人33sfdffggghfjd

 思路总结:  按行循环读取数据, 当读取到换行符时(注意,换行符'\n'不等于空,切记), 作为一个切分点标记,可以把之前读取到的利用列表或字符串拼接构成一个整体,再使用正则进行数据提取, 当读取的数据为'\n'且后面没有数据时,自动结束循环;