学习笔记----多任务-进程

进程、程序的概念

狭义、通俗定义：
程序： 一个硬盘上的一个*.exe，是未执行的。静态的。

进程：一个正在运行的程序，代码+用到的资源 称之为进程，它是操作系统分配资源的基本单元。

进程的状态

工作中，任务数往往大于CPU的核数，即一定有一些任务正在执行，而另外一些任务在等待cpu进行执行，因此导致了有了不同的状态。

线程与进程区别

定义不同

• 进程是系统进行资源分配和调度的一个独立单位
• 线程是进程的一个实体，是CPU调度和分派的基本单位，它是比进程跟小的能独立娙的基本单位。线程自己基本上不拥有系统资源，只拥有一点在运行中必不可少的资源（如程序计算器，一组寄存器和栈）,但是它可与同属一个进程的其他的线程共享进程所拥有的全部资源。

区别

• 一个程序至少有一个进程，一个进程至少有一个线程
• 线程的划分尺度小于进程（资源比进程少），使得多线程程序的并发性高。
• 线程不能够独立执行，必须依存在进程中
• 可以将进程理解为工厂中的一条流水线，而其中的线程就是这个流水线上的工人

优缺点
线程和进程在使用上各有优缺点：线程执行开销小，但不利于资源的管理和保护；而进程正相反。

进程池Pool

当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态生成多个进程，但如果是上百甚至上千个目标，手动的创建进程的工作量巨大，此时就可以用multiprocessing模块提供的Pool方法。

初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池中的进程数已经达到指定的最大值，那么该请求就会等待，直到池中有进程结束，才会用之前的进程来执行新的任务。

代码示例：

from multiprocessing import Pool
import time
import os
import random

def worker(msg):
    t_start = time.time()
    print("%s开始执行，进程号为%d" % (msg,os.getpid()))
    time.sleep(random.random()*2)
    t_stop = time.time()
    print(msg,"执行完毕，耗时%0.2f" % (t_stop-t_start))

def main():
    po = Pool(3)
    for i in range(0,10):
        po.apply_async(worker,(i, ))

    print("-----start-----")
    po.close()
    po.join()
    print("-----end------")


if __name__ == "__main__":
    main()

进程间通信-Queue
Process之间有时需要通信，操作系统提供了很多机制来实现进程间的通信。

可以使用multiprocessing模块的Queue实现多进程之间的数据传递，Queue本身是一个消息队列程序，用一个小实例来演示一下Queue的工作原理：

  1 import multiprocessing
  2 
  3 """
  4 一个进程向Queue中写入数据，另外一个进程从Queue中获取数据，
  5 通过Queue完成了 多个需要配合的进程间的数据共享，从而能够 起到 解耦的作用
  6 """
  7 def download_from_web(q):
  8     """下载数据"""
  9     # 模拟从网上下载的数据
 10     data = [11, 22, 33, 44]
 11 
 12     # 向队列中写入数据
 13     for temp in data:
 14         q.put(temp)
 15 
 16     print("---下载器已经下载完了数据并且存入到队列中----")
 17 
 18 
 19 def analysis_data(q):
 20     """数据处理"""
 21     waitting_analysis_data = list()
 22     # 从队列中获取数据
 23     while True:                                                                                                     
 24         data = q.get()
 25         waitting_analysis_data.append(data)
 26 
 27         if q.empty():
 28             break
 29 
 30     # 模拟数据处理
 31     print(waitting_analysis_data)
 32 
 33 def main():
 34     # 1. 创建一个队列
 35     q = multiprocessing.Queue(3)
 36 
 37     # 2. 创建多个进程，将队列的引用当做实参进行传递到里面
 38     p1 = multiprocessing.Process(target=download_from_web, args=(q,))
 39     p2 = multiprocessing.Process(target=analysis_data, args=(q,))
 40     p1.start()
 41     p2.start()
 42 
 43 
 44 if __name__ == "__main__":
 45 
 46         main()

案例：多任务文件夹copy-显示进度
涉及知识：进程池，通过队列完成进程间通信

  1 import os                                                                                                           
  2 import multiprocessing
  3 
  4 def copy_file(q,file_name,old_folder_name,new_folder_name):
  5         """完成文件的复制"""
  6         #print("=======>模拟copy文件: 从%s----->到%s 文件名是:%s" % (old_folder_name,new_folder_name,file_name))
  7         old_f = open(old_folder_name+"/"+file_name,"rb")
  8         content = old_f.read()
  9         old_f.close()
 10 
 11         new_f = open(new_folder_name+"/"+file_name,"wb")
 12         new_f.write(content)
 13         new_f.close()
 14         
 15         #如果拷贝完了文件，那么就向队列中写入一个消息，表示已经完成
 16         q.put(file_name)
 17 def main():
 18         # 1.获取用户要copy的文件夹的名字
 19         old_folder_name = input("请输入要copy的文件夹的名字:")
 20 
 21         # 2.创建一个新的文件夹
 22         try:
 23                 new_folder_name = old_folder_name + "[复件]"
 24                 os.mkdir(new_folder_name)
 25         except:
 26                 pass
 27         
 28         # 3.获取文件夹的所有的待copy的文件名字 listdir()
 29         file_names = os.listdir(old_folder_name)
 30         #print(file_names)
 31         
 32         
 33         # 4.创建进程池
 34         po = multiprocessing.Pool(5)
 35         
 36         # 5.创建一个队列
 37         q = multiprocessing.Manager().Queue()
 38 
 39         # 6.向进程池中添加copy任务
 40         for file_name in file_names:
 41                 po.apply_async(copy_file,args=(q,file_name,old_folder_name,new_folder_name))
 42         
 43         po.close()
 44         #po.join()
 45         all_file_num = len(file_names)  #  测一下所有文件的个数
 46         copy_ok_num = 0
 47         while True:
 48                 file_name = q.get()
 49                 copy_ok_num+=1
 50                 print("\r拷贝的进度为: %0.2f%%" % (copy_ok_num*100/all_file_num), end="")
 51                 if copy_ok_num >= all_file_num:
 52                         break
 53 
 54         print()
 55 if __name__ == "__main__":
 56         main()