python保存队列数据到文件_Python处理列表/队列中的项目并保存进度

像保存文件这样的I/O操作总是比较慢的。如果必须处理大量的文件，那么无论使用多少线程，都会占用很长的I/O时间。在

最简单的方法是使用多线程而不是多处理，让操作系统的调度器来解决问题。The docs对如何设置线程有很好的解释。一个简单的例子是from threading import Thread

def process_data(file_name):

# does the processing

print(f'processed {file_name}')

if __name__ == '__main__':

file_names = ['file_1', 'file_2']

processes = [Thread(target=process_data, args=(file_name,)) for file_name in file_names]

# here you start all the processes

for proc in processes:

proc.start()

# here you wait for all processes to finish

for proc in processes:

proc.join()

一种可能更快的解决方案是创建一个单独的进程来执行I/O，然后使用multiprocessing.Queue将来自“data process thread”的文件排队，让I/O线程获取这些文件并逐个处理它们。在

这样，I/O就不会停止，这将接近于最佳状态。我不知道这是否会比基于线程的解决方案产生更大的优势，但正如并发性的一般情况一样，最好的方法是用自己的应用程序做一些基准测试。在

需要注意的一个问题是，如果数据处理速度快得多，那么{}可能会变得非常大。这可能会对性能产生影响，具体取决于您的系统以及其他因素。一个快速的解决方法是在队列变大时暂停数据处理。在

记住用Python编写所有的多处理代码

^{pr2}$

注意，有些ide不能很好地处理并发Python代码。安全的办法是通过从终端执行代码来测试代码。在