进程和线程对比
进程和线程的区别
-
进程是系统进行资源分配和调度的一个独立单位;
-
线程是进程的一个实体,是CPU调度和分派的基本单位,即是操作系统调度的单位,它是比进程更小的能独立运行的基本单位;
-
一个程序至少有一个进程,一个进程至少有一个线程;
-
线程的划分尺度小于进程(资源比进程少),使得多线程程序的并发性高;
-
进程在执行过程中拥有独立的内存单元,而多个线程共享内存,从而极大地提高了程序的运行效率;
-
线程不能够独立执行,必须依存在进程中;
-
进程先有,才有的线程;
-
线程用资源去做事;
-
多线程能实现多任务是指在一个进程资源里面有多个箭头;多线程是在同一个资源里面有多个箭头执行同一份代码;
-
多进程的多任务是又开启了一份资源,在这个资源里面又有一个箭头;
-
进程执行方式1:在一份资源里面有多个箭头在执行;
-
进程执行方式2:有多份资源,在每一份资源里面有一个箭头执行代码;
-
线程执行开销小,但不利于资源的管理和保护,进程正好相反;
-
开发中还是多线程用的多;
通过队列完成进程间通信
队列使用语法
创建队列:
from multiprocessing import Queue
q = Queue(3)
往队列中添加数据:
q.put(xxx)
从队列中获取数据:
q.get()
通过队列完成进程间通信代码
from multiprocessing import Queue
import multiprocessing
def download_data(q):
“”“模拟这是从网上下载数据”“”
data = [11, 22, 33]
for i in data:
q.put(i)
print(“数据下载完成”)
def deal_data(q):
“”“模拟处理从网上下载下来的数据”“”
data_list = []
while True:
data = q.get()
data_list.append(data)
if q.empty():
break
print(“处理数据结束,数据为:”, data_list)
def main():
q = Queue(3)
p1 = multiprocessing.Process(target=download_data, args=(q,))
p2 = multiprocessing.Process(target=deal_data, args=(q,))
p1.start()
time.sleep(1)
p2.start()
if name == ‘main’:
main()
运行结果:
数据下载完成
处理数据结束,数据为: [11, 22, 33]
进程池完成多任务
进程池
进程池的概念
因为进程的创建和销毁是需要大量的资源的,为了减少消耗,当我们在处理多任务时,比如100个任务,我们可以先创建10个进程,然后用这10个进程来执行者100个任务,就可以重复使用进程,达到节约资源的目的了,而这个就可以使用进程池。
进程池的创建
任务数固定且较少,用普通的进程即可;任务数不确定,且比较多,就用进程池;
进程池不会等待进程执行完毕,我们需要使用po.join()让主进程等待进程池中的进程执行完;且po.close()必须在join前面;
创建进程池语法
创建进程池
from multiprocessing import Pool
po = Pool(3)
给进程池传递任务和参数
po.asyn(sing, (num,))
让进程池等待子进程执行完
po.close()
po.join()
进程池pool示例
from multiprocessing import Pool
import os, time, random
def worker(msg):
t_start = time.time()
print(“%s开始执行,进程号为%d” % (msg, os.getpid()))
random.random()随机生成0~1之间的浮点数
time.sleep(random.random() * 2)
t_stop = time.time()
print(msg, “执行完毕,耗时%0.2f” % (t_stop - t_start))
def main():
po = Pool(3) # 定义一个进程池,最大进程数3
for i in range(0, 10):
Pool().apply_async(要调用的目标,(传递给目标的参数元祖,))
每次循环将会用空闲出来的子进程去调用目标
po.apply_async(worker, (i,))
print(“----start----”)
po.close() # 关闭进程池,关闭后po不再接收新的请求
po.join() # 等待po中所有子进程执行完成,必须放在close语句之后
print(“-----end-----”)
if name == ‘main’:
main()
执行结果:
----start----
0开始执行,进程号为7812
1开始执行,进程号为9984
2开始执行,进程号为1692
执行完毕,耗时0.65
3开始执行,进程号为9984
执行完毕,耗时1.08
4开始执行,进程号为7812
执行完毕,耗时1.82
5开始执行,进程号为1692
执行完毕,耗时1.12
6开始执行,进程号为7812
执行完毕,耗时1.35
7开始执行,进程号为9984
执行完毕,耗时0.11
8开始执行,进程号为9984
执行完毕,耗时0.50
9开始执行,进程号为7812
执行完毕,耗时0.65
执行完毕,耗时0.70
执行完毕,耗时0.74
-----end-----
多进程拷贝文件夹
多任务文件夹copy
步骤思路:
-
1.获取用户要拷贝的文件夹的名字;
-
2.创建一个新的文件夹;
-
3.获取文件夹的所有待拷贝的文件名;listdir()
-
4.创建进程池;
-
5.复制原文件夹中的文件,到新文件夹的文件中去;
多任务拷贝文件代码
import os
from multiprocessing import Pool
def copy_file(file, old_folder, new_folder):
old_f = open(old_folder+“/”+file, “rb”)
data = old_f.read()
old_f.close()
new_f = open(new_folder+“/”+file, “wb”)
new_f.write(data)
new_f.close()
print(“创建文件成功:”, file)
def main():
1.获取要拷贝的文件夹
old_folder = input(“请输入你要拷贝的文件夹:”)
2.创建新文件夹
new_folder = old_folder + “_复件”
try:
os.mkdir(new_folder)
print(“创建文件夹成功”)
except Exception as e:
pass
3.获取文件夹中所有待拷贝的文件,listdir()
files_list = os.listdir(old_folder)
print(files_list)
4.创建进程池
po = Pool(5)
for file in files_list:
向进程池中添加复制文件的任务
po.apply_async(copy_file, args=(file, old_folder, new_folder))
复制原文件夹中的文件,到新文件夹中
po.close()
po.join()
if name == ‘main’:
main()
在完成文件夹拷贝后,增加了一个需求,显示拷贝文件的进度条,怎么办?
多任务拷贝文件并显示进度条
如果要在进程池中使用Queue,要使用from multiprocessing import Manager ,使用Manager().Queue();小编整理一套Python资料和PDF,有需要Python学习资料可以加学习群:631441315 ,反正闲着也是闲着呢,不如学点东西啦~~
显示进度条思路:
-
创建一个队列;
-
往拷贝文件的函数中传入队列,拷贝好一个文件就往q中传入该文件名;
-
在主函数中计算listdir()中的所有文件数量;
-
在主函数中定义一个num,初始值为0;
-
在主函数中定义一个while true,从q中获取文件每获取一个文件们就将num+1
-
计算,如果num的值大于等于总文件数量,就break;
-
使用已拷贝文件数量num除以总文件数量,即为拷贝的进度,使用开头\r 和end=""让显示进度不换行,如下:
文末有福利领取哦~
👉一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
👉二、Python必备开发工具
👉三、Python视频合集
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉 四、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(文末领读者福利)
👉五、Python练习题
检查学习结果。
👉六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
👉因篇幅有限,仅展示部分资料,这份完整版的Python全套学习资料已经上传
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!