python把char数组写入文件,用python缓冲区将字符数组写入文件

本文探讨了如何减少磁盘操作次数以提高性能,通过对比json.dumps和纯Python写入方法,展示了在不同数据规模下,json.dumps在序列化方面的优势。实验结果显示,使用json.dumps能显著提升输出速度,尤其是在大数组情况下,速度提升可达3.8倍。此外,还对比了write与writelines的方法,进一步验证了减少磁盘写入操作的重要性。
摘要由CSDN通过智能技术生成

实际上,正如您的直觉所示,如果可以将N减为1,就不要对磁盘执行N个写操作。对于您的特定情况,让我们测量一下通过使用json.dumps文件要序列化测试数组,请执行以下操作:import timeit

import json

x = []

for z in range(0, 800000):

x.append(z)

def f1():

with open("f1.txt", "w") as f:

for z in range(0, len(x)):

f.write(str(z))

def f2():

with open("f1.txt", "w") as f:

f.write(json.dumps(x))

N = 10

print(timeit.timeit('f1()', setup='from __main__ import f1', number=N))

print(timeit.timeit('f2()', setup='from __main__ import f2', number=N))

输出速度将提高约5.5倍:

^{pr2}$

如果将数组大小增加到8000000,则输出速度将提高3.6倍:82.87025446748072

22.56552114259503

如果将N=1,数组大小设为8000000,则输出速度将快3.8倍:8.355991964475688

2.227114091734297

不是说使用json.dumps文件是转储自定义数据的最佳方法,但也是一个合理的好方法。我的观点是,尽量减少磁盘操作的次数,如果可能的话,尽量减少。磁盘写入操作通常相当昂贵。在

附加信息:如果你想比较一下更快的序列化方法,我建议你看看这个article

编辑:添加了@ShadowRanger的建议,在实验中添加两个测试,比较write&writelines,给你:import timeit

import json

K = 8000000

x = []

for z in range(0, K):

x.append(z)

def f1():

with open("f1.txt", "w") as f:

for z in range(0, len(x)):

f.write(str(z))

def f2():

with open("f1.txt", "w") as f:

f.write(json.dumps(x))

def f3():

with open("f1.txt", "w") as f:

f.write(''.join(map(str, x)))

def f4():

with open("f1.txt", "w") as f:

f.writelines(map(str, x))

N = 1

print(timeit.timeit('f1()', setup='from __main__ import f1', number=N))

print(timeit.timeit('f2()', setup='from __main__ import f2', number=N))

print(timeit.timeit('f3()', setup='from __main__ import f3', number=N))

print(timeit.timeit('f4()', setup='from __main__ import f4', number=N))

输出将是:8.369193972488317

2.154246855128056

2.667741175272406

8.156553772208122

您仍然可以看到write比writeline快,以及一个简单的序列化方法json.dumps文件比使用纯python代码的手动程序稍快ie: ''.join(map(str, x))

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值