python多个%s_Python同时读取多个文件

最近使用Python多线程进行异步读取文件，读取30多个文件消耗了大概90s时间，相比于for循环顺序读取速度还慢了一大截，所以写了下面的测试程序，

为什么多线程会慢这么多，大概是因为多线程GIL的缘故，至于方法可以使用多进程或者异步IO进行读取，目前只看了多进程。

print(file_lists)

['2.txt',

'3.txt',

'5.txt',

'4.txt',

'9.txt',

'7.txt',

'6.txt',

'8.txt',

'1.txt',

'10.txt']

Sequential

for file in file_lists:

read_file(os.path.join('data',file))

executed in 184ms

Multi-Threading

import operator

import csv

import time

import os

import threading

from time import ctime

def read_file(file_dir):

f = open(file_dir, 'r')

#print(f.readlines())

txt = f.readlines()

# def read_docx(file_dir):

threads = []

file_lists = os.listdir('data')

for file in file_lists:

t= threading.Thread(target=read_file,args=(os.path.join('data',file),))

threads.append(t)

for thr in threads:

thr.start()

for the in threads:

thr.join()

print("all over%s"%ctime())

executed in 360ms

Multi-Process

from multiprocessing import Process

processes = []

for file in file_lists:

processes.append(Process(target=read_file,args=(os.path.join('data',file),)))

for process in processes:

process.start()

for process in processes:

process.join()

executed in 66ms

总结：GIL作用：限制多线程同时执行，保证同一时刻只有一个线程执行。

文件读写是会阻塞事件循环。

如果采用多线程进行读取文件话，会因为GIL的缘故，在读取1.txt的时候线程一直在占据状态，要等到读取1.txt的程序释放之后，才会读取下一个2.txt，所以如果想要加速读写的过程，只有使用多进程。

记得曾经有一段时间，想要找寻非阻塞方式的读写的function，现在发现是有够可笑的，读写就是一个很耗IO的操作，所以如果高并发的过程包含大量的读写操作的话，除了多进程没有更好的办法。最终还是增加cpu服务器，增加进程解决了这个问题。