python数据对比找不同_利用Python读取文件的四种不同方法比对

利用Python读取文件的四种不同方法比对

大家都知道Python 读文件的方式多种多样，但是当需要读取一个大文件的时候，不同的读取方式会有不一样的效果。下面就来看看详细的介绍吧。

场景

逐行读取一个 2.9G 的大文件

CPU i7 6820HQ

RAM 32G

方法

对每一行的读取进行一次分割字符串操作

以下方法都使用 with…as 方法打开文件。

with 语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭、线程中锁的自动获取和释放等。

方法一 最通用的读文件方式

with open(file, 'r') as fh:

for line in fh.readlines():

line.split("|")

运行结果： 耗时 15.4346568584 秒

系统监视器中显示内存从 4.8G 一下子飙到了 8.4G， fh.readlines() 将读取的所有行数据存到内存，这种方法适合小文件。

方法二

with open(file, 'r') as fh:

line = fh.readline()

while line:

line.split("|")

运行结