python快速读取大文件_python--小技巧[1]:python读取大文件

1.当我们使用python读取文件的时候，我们通常是这样写的

with open('xx.txt','r')as f:

for line in f:

print(line)

这样我们就可以遍历一行行的遍历文本。

2. 但是当文本很大的时候，我们就不能这样写了，因为这样可能导致我们的内存爆掉了。

我们可以利用生成器，每次迭代出一块一块来，这样就不会出现问题啦。

# size:每次块的大小

for lines in chunkify('./xxxx.log', size=int(1024 * 1024 * 0.5)):

print(lines)e)

with open(fname, 'r') as f:

while True:

f.seek(start)

lines = f.read(size).split('\n')

last_line_size = len(bytes(lines[-1].encode('utf-8')))

start = f.tell() - last_line_size

yield lines[:-1]

# if start >= fileEnd - last_line_size:

# break

1.可以看到这里使用的read函数，每次读取size大小的文本。

2.根据\n来切割文本，使之为一行行的。

文本的指针用tell来定位位置，用seek来跳跃到最新的位置。

3. 使用

for lines in chunkify('./xxxxx.log', size=int(1024 * 1024 * 0.5)):

print(lines)

这样可以达到读取一行行的效果，同时也不用担心文件太大，而太占内存。

4. 其他相关的模块，在搜文章的时候顺便了解了一下。如果你也遇到了读取大文件的，那你肯定会遇到linecache模块

linecache模块的作用是将

当我们需要读取多个文件时，效果会非常好。

linecache.getlines(filename) # 读取文件的全部内容

linecache.getline(filename,lineno)# 读取文件指定行

linecache.clearcache() # 清除缓存

linecache.updatecache(filename) # 当文件更新了，使用这个函数可以更新linecache.getlines(filename)返回的列表。