最新Python多任务之进程

进程和线程对比

进程和线程的区别

• 进程是系统进行资源分配和调度的一个独立单位；

• 线程是进程的一个实体,是CPU调度和分派的基本单位,即是操作系统调度的单位，它是比进程更小的能独立运行的基本单位；

• 一个程序至少有一个进程,一个进程至少有一个线程；

• 线程的划分尺度小于进程(资源比进程少)，使得多线程程序的并发性高；

• 进程在执行过程中拥有独立的内存单元，而多个线程共享内存，从而极大地提高了程序的运行效率；

• 线程不能够独立执行，必须依存在进程中；

• 进程先有，才有的线程；

• 线程用资源去做事；

• 多线程能实现多任务是指在一个进程资源里面有多个箭头；多线程是在同一个资源里面有多个箭头执行同一份代码；

• 多进程的多任务是又开启了一份资源，在这个资源里面又有一个箭头；

• 进程执行方式1：在一份资源里面有多个箭头在执行；

• 进程执行方式2：有多份资源，在每一份资源里面有一个箭头执行代码；

• 线程执行开销小，但不利于资源的管理和保护，进程正好相反；

• 开发中还是多线程用的多；

通过队列完成进程间通信

队列使用语法

创建队列：

from multiprocessing import Queue

q = Queue(3)

往队列中添加数据：

q.put(xxx)

从队列中获取数据：

q.get()

通过队列完成进程间通信代码

from multiprocessing import Queue

import multiprocessing

def download_data(q):

“”“模拟这是从网上下载数据”“”

data = [11, 22, 33]

for i in data:

q.put(i)

print(“数据下载完成”)

def deal_data(q):

“”“模拟处理从网上下载下来的数据”“”

data_list = []

while True:

data = q.get()

data_list.append(data)

if q.empty():

break

print(“处理数据结束，数据为：”, data_list)

def main():

q = Queue(3)

p1 = multiprocessing.Process(target=download_data, args=(q,))

p2 = multiprocessing.Process(target=deal_data, args=(q,))

p1.start()

time.sleep(1)

p2.start()

if name == ‘main’:

main()

运行结果：

数据下载完成

处理数据结束，数据为： [11, 22, 33]

进程池完成多任务

---

进程池

进程池的概念

因为进程的创建和销毁是需要大量的资源的，为了减少消耗，当我们在处理多任务时，比如100个任务，我们可以先创建10个进程，然后用这10个进程来执行者100个任务，就可以重复使用进程，达到节约资源的目的了，而这个就可以使用进程池。

进程池的创建

任务数固定且较少，用普通的进程即可；任务数不确定，且比较多，就用进程池；

进程池不会等待进程执行完毕，我们需要使用po.join()让主进程等待进程池中的进程执行完；且po.close()必须在join前面；

创建进程池语法

创建进程池

from multiprocessing import Pool

po = Pool(3)

给进程池传递任务和参数

po.asyn(sing, (num,))

让进程池等待子进程执行完

po.close()

po.join()

进程池pool示例

from multiprocessing import Pool

import os, time, random

def worker(msg):

t_start = time.time()

print(“%s开始执行,进程号为%d” % (msg, os.getpid()))

random.random()随机生成0~1之间的浮点数

time.sleep(random.random() * 2)

t_stop = time.time()

print(msg, “执行完毕，耗时%0.2f” % (t_stop - t_start))

def main():

po = Pool(3) # 定义一个进程池，最大进程数3

for i in range(0, 10):

Pool().apply_async(要调用的目标,(传递给目标的参数元祖,))

每次循环将会用空闲出来的子进程去调用目标

po.apply_async(worker, (i,))

print(“----start----”)

po.close() # 关闭进程池，关闭后po不再接收新的请求

po.join() # 等待po中所有子进程执行完成，必须放在close语句之后

print(“-----end-----”)

if name == ‘main’:

main()

执行结果：

----start----

0开始执行,进程号为7812

1开始执行,进程号为9984

2开始执行,进程号为1692

执行完毕，耗时0.65

3开始执行,进程号为9984

执行完毕，耗时1.08

4开始执行,进程号为7812

执行完毕，耗时1.82

5开始执行,进程号为1692

执行完毕，耗时1.12

6开始执行,进程号为7812

执行完毕，耗时1.35

7开始执行,进程号为9984

执行完毕，耗时0.11

8开始执行,进程号为9984

执行完毕，耗时0.50

9开始执行,进程号为7812

执行完毕，耗时0.65

执行完毕，耗时0.70

执行完毕，耗时0.74

-----end-----

多进程拷贝文件夹

多任务文件夹copy

步骤思路：

• 1.获取用户要拷贝的文件夹的名字；

• 2.创建一个新的文件夹；

• 3.获取文件夹的所有待拷贝的文件名；listdir()

• 4.创建进程池；

• 5.复制原文件夹中的文件，到新文件夹的文件中去；

多任务拷贝文件代码

import os

from multiprocessing import Pool

def copy_file(file, old_folder, new_folder):

old_f = open(old_folder+“/”+file, “rb”)

data = old_f.read()

old_f.close()

new_f = open(new_folder+“/”+file, “wb”)

new_f.write(data)

new_f.close()

print(“创建文件成功:”, file)

def main():

1.获取要拷贝的文件夹

old_folder = input(“请输入你要拷贝的文件夹：”)

2.创建新文件夹

new_folder = old_folder + “_复件”

try:

os.mkdir(new_folder)

print(“创建文件夹成功”)

except Exception as e:

pass

3.获取文件夹中所有待拷贝的文件,listdir()

files_list = os.listdir(old_folder)

print(files_list)

4.创建进程池

po = Pool(5)

for file in files_list:

向进程池中添加复制文件的任务

po.apply_async(copy_file, args=(file, old_folder, new_folder))

复制原文件夹中的文件，到新文件夹中

po.close()

po.join()

if name == ‘main’:

main()

在完成文件夹拷贝后，增加了一个需求，显示拷贝文件的进度条，怎么办？

多任务拷贝文件并显示进度条

如果要在进程池中使用Queue，要使用from multiprocessing import Manager ，使用Manager().Queue()；小编整理一套Python资料和PDF，有需要Python学习资料可以加学习群：631441315 ，反正闲着也是闲着呢，不如学点东西啦~~

显示进度条思路：

1. 创建一个队列；

2. 往拷贝文件的函数中传入队列，拷贝好一个文件就往q中传入该文件名；

3. 在主函数中计算listdir()中的所有文件数量；

4. 在主函数中定义一个num，初始值为0；

5. 在主函数中定义一个while true，从q中获取文件每获取一个文件们就将num+1

6. 计算，如果num的值大于等于总文件数量，就break；

如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！