进程池Pool

线程池Pool
存在引入：当需要创建很多进程的时候，比如上千，甚至上万，电脑一下子创建那么多进程肯定没有那么多资源消耗，所以就引入了进程池概念，一次创建指定进程数量，分批次的解决大量进程问题
使用：
1、导入库

from multiprocessing import Pool

2、创建最大进程池

po = Pool(3)#创建一个进程池，最大进程数3

3、创建进程池需要执行的函数

def f1(args):
	...#这里写需要执行的进程.

4、往进程池中添加进程

po.apply_async(函数名,(参数,))#参数是元组，

5、关闭进程

po.close()#关闭进程池，关闭后不再接收新的请求
po.join()#等待所有子进程执行完成后，必须放在close语句之后

进程池特点：
进程池存在一个最大进程数，当有执行的进程，并且进程池未满的时候，会将该进程添加到进程池，当进程池已满，需要其他进程等待

进程池简单测试：

import multiprocessing
import time, os, random

def test(msg):
    t_start = time.time()
    print('%s开始执行进程,进程号为%d' % (msg,os.getpid()))
    time.sleep(random.random())
    t_stop = time.time()
    print(msg,'执行完毕耗时%0.2f' % (t_stop - t_start))

def main():
    #创建进程池
    pool = multiprocessing.Pool(3)
    #往进程池中塞入需要执行的进程
    for i in range(10):
        pool.apply_async(test,(i,))#参数需要执行的函数，传参数

    print('-----')
    pool.close()
    pool.join()
    print('-----')


if __name__ == '__main__':
main()

进程池实际和Queue案例：

#实现效果：将一个键夹中的文件拷贝到领一个文件夹中
import multiprocessing
import os


def copy_file(file_name,old_path,new_path,q):
    '''从一个路径拷贝文件到另一个路径'''
    f1 = open(old_path +'//'+ file_name, 'r')
    f2 = open(new_path +'//'+ file_name,'w')
    f2.write(f1.read())
    f1.close()
    f2.close()
    print('文件%s已拷贝完成' % file_name)
    q.put(file_name)

def main():
    #1获取被拷贝的文件夹的名字
    while True:
        dir_old_path= input('输入要拷贝的文件夹')
        if os.path.isdir(dir_old_path):
            print(dir_old_path)
            break
        else:
            print('没有该路径，重新输入')

    #2获取里面的所有文件名字
    file_names = os.listdir(dir_old_path)
    print('源文件夹内的文件 %s' % file_names)
    #3获取新的文件夹名字
    new_path = input('请输入新的路径（保存被复制的文件）')
    if not os.path.exists(new_path):
        os.makedirs(new_path)

    #4创建一个pool,一次性创建5个进程
    pool = multiprocessing.Pool(5)
    # 5创建一个队列用于表示进度
    q = multiprocessing.Manager().Queue()
    #6使用pool开始复制
    for file_name in file_names:
        pool.apply_async(copy_file,(file_name, dir_old_path,new_path,q))
    #7关闭进程池
    pool.close()
    #pool.join()
    #8显示进度百分比已经下载的文件/所有文件
    countAll = len(file_names)
    count = 0
    while True:
        file = q.get()
        count += 1
        print('\r下载进度%.2f %%' % (count/countAll))
        if count >= countAll:
            break
    print('下载完成')

if __name__ == '__main__':
    main()