1. 任务需求
很多情况下我们处理数据时,因为数据比较多,所以需要浪费很多时间,而如果我们用的是服务器的话,那么cpu的线程数一般比较高,所以我们可以开启多个线程同时工作,可以加快我们的处理速度。
2. 简单例子
现在我们来看一个简单例子,看看怎么使用python的进程池。
首先就是导入进程池的包:
from multiprocessing import Pool
然后我们需要将我们需要处理的事情封装成一个函数,这里处理一个简单的任务:
def multi_pool_test(i):
return (i+1)*10
然后就可以直接程序化:
pool = Pool(processes=3) # processes为开启的线程数
results = []
for i in range(100):
print (i)
result = pool.apply_async(multi_pool_test,(i,))
results.append(result)
pool.close()
pool.join()
results = [result.get() for result in results] #.get读取结果
print (results)
3 复杂例子
现在我们要处理一个数据,数据格式如下:
我们只读取前面的标签和后面的文字,然后后面的问题用nltk处理:
先看看不用进程池的方法:
def read_file(self,path):
'''
read file through open, i don't know how to use pandas
:param path: file path
:return:
'''
datas = open(path,"r",encoding="utf-8").read().splitlines()
labels = []
texts = []
for i,data in enumerate(datas):
data = data.lower()
if i%10000==0:
print (i,len(datas))
data = data.split(',"',1)
labels.append(int(data[0].strip("\""))-1)
texts.append(nltk.word_tokenize(data[1])[0:hp.max_word_length])
return texts,labels
然后我们处理的数据集有300万行,速度太慢,我们就将使用进程池进行处理:
def multi_process(self,datas):
labels = []
texts = []
for i,data in enumerate(datas):
data = data.lower()
if i%10000==0:
print (i,len(datas))
data = data.split(',"',1)
labels.append(int(data[0].strip("\""))-1)
texts.append(nltk.word_tokenize(data[1])[0:hp.max_word_length])
return [texts,labels]
def multi_read_file(self,path):
labels = []
texts = []
results = []
multi_process = 20
pool = Pool(processes=multi_process)
datas = open(path, "r", encoding="utf-8").read().splitlines()
n = int(len(datas)/multi_process)
for i in range(multi_process):
result = pool.apply_async(self.multi_process,(datas[i*n:(i+1)*n],))
results.append(result)
pool.close()
pool.join()
for result in results:
result = result.get()
texts.extend(result[0])
labels.extend(result[1])
return texts,labels
然后速度就快了20倍左右。
4. 一个问题
以前我写进程池的时候,发现一切都写对了,但是每次最多开启两个进程,最终发现是逻辑错误,这里进程创建分为两部分:
第一步就是创建进程然后拷入所需的数据,第二步是进行数据处理。如果我们的数据太大,那么创建进程和数据处理的步骤就会很慢,而如果数据处理太快,因为创建进程和拷贝数据是主进程做的事情,而主进程只有一个,所以这一步是串行的。如果需要拷贝数据太大而处理非常快,就会出现只有两个进程,而且只有一个真正工作的情况,此时的进程池会比单进程还慢。
解决办法很简单,就像我上面写的一样,就是将数据分为很多份,每个进程处理一份数据,而不是一个数据,这样虽然数据读入依旧很慢,但是数据处理也很慢,就会开启很多进程的。
愿大家数据处理能够又快又好。