之前使用pandas.read_csv()读取一个大文件,花了好长时间才读取完毕,但通过python的open函数打开时效率提高了好几倍。
对于很大的文件,pandas.read_csv()采取分块效果较好,下面是对于不分块的较大文件操作。
python读取文件的一般方法:
file = open(res.FILE_PATH["shop"], 'r', encoding="gb18030")
# 读取一定量的文件
print(file.read(5))
# 查看文件格式
print(file)
# 逐行读取方法一
line = file.readline()
while line != "":
print(line, end="") # 末尾换行替换为空字符
line = file.readline()
# 逐行读取方法二
for line in file.readlines():
print(line, end="")
file.close()
但这一般用法效率还可以提升。
添加with的写法以后,执行就类似于迭代器处理,效率进一步提升。
# 迭代器
start = time.time()
with open(res.FILE_PATH["shop"], 'r', encoding="gb18030") as f:
for line in f:
print(line, end="")
cost = time.time() - start
print(cost)
# 或者
with open(res.FILE_PATH['shop'], 'r', encoding="gb18030", errors="ignore") as file:
data = file.read().split("\n")
# 迭代器
start = time.time()
with open(res.FILE_PATH["shop"], 'rb') as f:
for line in f:
line = line.decode("gb18030")
print(line, end="")
cost = time.time() - start
print(cost)
f.close()
经过测试可以看到rb二进制类型单一来看是最快的但如果再解码的话效率又回比r只读模式略差一些。