python读取超大文件
1)普通读文件方法弊端分析
1.with 上下文管理器会自动关闭打开的文件描述符,在迭代文件对象时,内容是一行一行返回的,不会占用太多内存
2. 如果python读取文件如果被读取的文件里,根本就没有任何换行符,将会变成一个非常巨大的字符串对象,占用大量内存。
python普通方法读文件
#! /usr/bin/env python
# -*- coding: utf-8 -*-
def read_file(fname):
with open(fname) as file:
for line in file:
print(line.strip('\n'),)
path = r'C:\aaa\luting\edc-backend\aaa.py'
read_file(path)
2)读取大文件正确方式
1. 我们使用了一个 while 循环来读取文件内容,每次最多读取 8kb 大小
2. 这样可以避免之前需要拼接一个巨大字符串的过程,把内存占用降低非常多。
python读取大文件
#!/usr/bin/python
# -*- coding: utf-8 -*-
def read_big_file_v(fname):
block_size = 1024 * 8
with open(fname,encoding="utf8") as fp:
while True:
chunk = fp.read(block_size)
# 当文件没有更多内容时,read 调用将会返回空字符串 ''
if not chunk:
break
print(chunk)
path = r'C:\aaa\luting\edc-backend\tttt.py'
read_big_file_v(path)