多进程

1. 什么是进程
   程序运行起来后，代码 + 用上的资源称之为进程。这是操作系统分配资源的基本单位。进程也可以完成多任务。
2. 实现方式
   在python中载入进程库，multiprocessing
   其他和线程语法差不多，值得注意的是进程间不共享局部变量。
3. 进程池
   当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态成生多个进程，但如果是上百甚至上千个目标，手动的去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法。初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到指定的最大值，那么该请求就会等待，直到池中有进程结束，才会用之前的进程来执行新的任务。
4. 队列（进程间共享数据）
   Queue模块是一个消息队列，用于不同进程间的消息传递。
   语法：

初始化Queue()对象时（例如：q=Queue()），若括号中没有指定最大可接收的消息数量，或数量为负值，那么就代表可接受的消息数量没有上限（直到内存的尽头）；

Queue.qsize()：返回当前队列包含的消息数量；

Queue.empty()：如果队列为空，返回True，反之False ；

Queue.full()：如果队列满了，返回True,反之False；

Queue.get([block[, timeout]])：获取队列中的一条消息，然后将其从列队中移除，block默认值为True；

1）如果block使用默认值，且没有设置timeout（单位秒），消息列队如果为空，此时程序将被阻塞（停在读取状态），直到从消息列队读到消息为止，如果设置了timeout，则会等待timeout秒，若还没读取到任何消息，则抛出"Queue.Empty"异常；

2）如果block值为False，消息列队如果为空，则会立刻抛出"Queue.Empty"异常；

Queue.get_nowait()：相当Queue.get(False)；

Queue.put(item,[block[, timeout]])：将item消息写入队列，block默认值为True；

1）如果block使用默认值，且没有设置timeout（单位秒），消息列队如果已经没有空间可写入，此时程序将被阻塞（停在写入状态），直到从消息列队腾出空间为止，如果设置了timeout，则会等待timeout秒，若还没空间，则抛出"Queue.Full"异常；

2）如果block值为False，消息列队如果没有空间可写入，则会立刻抛出"Queue.Full"异常；

Queue.put_nowait(item)：相当Queue.put(item, False)；
2. Queue实例

6. 实现一个文件copy器

import multiprocessing
import os


def copy_file(q,file_name,old_file_name,new_file_name):
    """完成文件复制"""
    old_f = open(old_file_name + '/' + file_name,'rb')
    content = old_f.read()
    old_f.close()
    
    new_f = open(new_file_name + '/' + file_name,'wb')
    new_f.write(content)
    new_f.close()

    q.put(file_name)



def main():
    # 获取用户需要copy的文件夹名字
    old_file_name = input("请输入需要拷贝的文件夹")

    # 创建一个新的文件夹
    try:
        new_file_name = old_file_name + "[copy]"
        os.mkdir(new_file_name)
    except:
        pass
    # 获取文件夹文件名字 listdir()
    file_names = os.listdir("./test/")
    # print(file_names)

    # 创建进程池
    po = multiprocessing.Pool(3)
    
    # 创建队列
    q = multiprocessing.Manager().Queue()

    # 向进程池添加 copy文件任务
    for file_name in file_names:
        po.apply_async(copy_file,(q,file_name,old_file_name,new_file_name))

    po.close()
    # po.join() 
    copy_ok_num = 0
    all_file_num = len(file_names)
    while True:
        files = q.get()
        copy_ok_num += 1
        print("\r拷贝已经完成了%2f%%" %((copy_ok_num*100/all_file_num)),end="")
        
        if copy_ok_num >= all_file_num:
            break

    print()
if __name__ == "__main__":
    main()

运行结果

 tom@ubuntu:~/Desktop/mulpross$ python3 queu.py 
请输入需要拷贝的文件夹test
拷贝已经完成了100.00%