python mysql写入速度加快_加快写入文件的速度

我已经分析了一些用cProfile继承的遗留代码。我已经做了一些有帮助的修改(比如使用simplejson的C扩展！)。

基本上，这个脚本是将数据从一个系统导出到一个ASCII固定宽度文件。每一行是一条记录，它有许多值。每行7158个字符，包含大量空格。记录总数为150万条。每行一次生成一行，需要一段时间(每秒5-10行)。

生成每一行时，它会尽可能简单地写入磁盘。分析表明，总时间的约19-20%用于file.write()。一个1500行的测试用例需要20秒。我想减少这个数字。

现在看来，下一个胜利将是减少写入磁盘的时间。如果可能的话，我想减少。我可以在内存中保存一个记录缓存，但我不能等到结束时立即将其全部转储。fd = open(data_file, 'w')

for c, (recordid, values) in enumerate(generatevalues()):

row = prep_row(recordid, values)

fd.write(row)

if c % 117 == 0:

if limit > 0 and c >= limit:

break

sys.stdout.write('\r%s @ %s' % (str(c + 1).rjust(7), datetime.now()))

sys.stdout.flush()

我的第一个想法是在一个列表中保存一个记录缓存，并成批地写出来。会更快吗？类似于：rows = []

for c, (recordid, values) in enumerate(generatevalues()):

rows.append(prep_row(recordid, values))

if c % 117 == 0:

fd.write('\n'.join(rows))

rows = []

我的第二个想法是用另一根线，但那让我想死在里面。