python进程池来运行多进程

1. 任务需求

很多情况下我们处理数据时，因为数据比较多，所以需要浪费很多时间，而如果我们用的是服务器的话，那么cpu的线程数一般比较高，所以我们可以开启多个线程同时工作，可以加快我们的处理速度。

2. 简单例子

现在我们来看一个简单例子，看看怎么使用python的进程池。
首先就是导入进程池的包：

from multiprocessing import Pool

然后我们需要将我们需要处理的事情封装成一个函数，这里处理一个简单的任务：

def multi_pool_test(i):
    return (i+1)*10

然后就可以直接程序化：

pool = Pool(processes=3) # processes为开启的线程数
results = []
for i in range(100):
    print (i)
    result = pool.apply_async(multi_pool_test,(i,))
    results.append(result)
pool.close()
pool.join()
results = [result.get() for result in results] #.get读取结果
print (results)

3 复杂例子

现在我们要处理一个数据，数据格式如下：

我们只读取前面的标签和后面的文字，然后后面的问题用nltk处理：
先看看不用进程池的方法：

    def read_file(self,path):
        '''
        read file through open, i don't know how to use pandas
        :param path: file path
        :return:
        '''
        datas = open(path,"r",encoding="utf-8").read().splitlines()
        labels = []
        texts = []
        for i,data in enumerate(datas):
            data = data.lower()
            if i%10000==0:
                print (i,len(datas))
            data = data.split(',"',1)
            labels.append(int(data[0].strip("\""))-1)
            texts.append(nltk.word_tokenize(data[1])[0:hp.max_word_length])
        return texts,labels

然后我们处理的数据集有300万行，速度太慢，我们就将使用进程池进行处理：

    def multi_process(self,datas):
        labels = []
        texts = []
        for i,data in enumerate(datas):
            data = data.lower()
            if i%10000==0:
                print (i,len(datas))
            data = data.split(',"',1)
            labels.append(int(data[0].strip("\""))-1)
            texts.append(nltk.word_tokenize(data[1])[0:hp.max_word_length])
        return [texts,labels]
    def multi_read_file(self,path):
        labels = []
        texts = []
        results = []
        multi_process = 20
        pool = Pool(processes=multi_process)
        datas = open(path, "r", encoding="utf-8").read().splitlines()
        n = int(len(datas)/multi_process)
        for i in range(multi_process):
            result = pool.apply_async(self.multi_process,(datas[i*n:(i+1)*n],))
            results.append(result)
        pool.close()
        pool.join()
        for result in results:
            result = result.get()
            texts.extend(result[0])
            labels.extend(result[1])
        return texts,labels

然后速度就快了20倍左右。

4. 一个问题

以前我写进程池的时候，发现一切都写对了，但是每次最多开启两个进程，最终发现是逻辑错误，这里进程创建分为两部分：
第一步就是创建进程然后拷入所需的数据，第二步是进行数据处理。如果我们的数据太大，那么创建进程和数据处理的步骤就会很慢，而如果数据处理太快，因为创建进程和拷贝数据是主进程做的事情，而主进程只有一个，所以这一步是串行的。如果需要拷贝数据太大而处理非常快，就会出现只有两个进程，而且只有一个真正工作的情况，此时的进程池会比单进程还慢。
解决办法很简单，就像我上面写的一样，就是将数据分为很多份，每个进程处理一份数据，而不是一个数据，这样虽然数据读入依旧很慢，但是数据处理也很慢，就会开启很多进程的。
愿大家数据处理能够又快又好。