Python 多线程与多进程的认识(基础版)
本文在自学python多线程和多进程
经过许多的面试题后,总是会问到Python多线程与多进程的问题,两天闲来无事,研究了一番,基础版的多线程和多进程:
1.计算机操作系统的并发操作:学过操作系统的都知道,在我们的操作系统的发展史上的历程是,人工输入纸带->单道批处理->多道批处理->分时系统->实时系统。多道批处理的成功离开不了一个词“并发操作”,并发也是操作系统的一个基本特性,那么我们的多进程也就处理来,多个进程并发操作就是为了更好了利用和管理好操作系统的资源。这里请回忆一下信号量机制与经典问题(生产者消费者问题)
2.Python的多进程:由1可以知道,多进程就是为了更好的利用计算机的资源进行并发操作,比如,在多核CPU中可以使用多个进程来进行计算10**1000,如果您的编程有基础,用Python试一下,看看需要多少时间,我这里也给出代码,注意,能自己敲就自己敲
import time
import os
def cal_num():
print('当前进程: {}'.format(os.getpid()))
time.sleep(2)
print("结果: {}".format(10**1000000))
if __name__ == '__main__':
print("这个是主进程",os.getpid())
start = time.time()
for i in range(2):
cal_num()
end = time.time()
print("时间",end-start)
45秒多是不是非常的难等待,马上让你看看厉害操作
接下来就是3个进程的代码
import time
import os
from multiprocessing import Process
def cal_num(i):
print('当前进程名{}: {},'.format(i,os.getpid()))
time.sleep(2)
print("结果: {}".format(10**1000000))
if __name__ == '__main__':
print("这个是主进程",os.getpid())
start = time.time()
p1 = Process(target=cal_num,args=(1,))
p2 = Process(target=cal_num, args=(2,))
p3 = Process(target=cal_num, args=(3,))
p1.start()
p2.start()
p3.start()
p1.join()
p2.join()
p3.join()
end = time.time()
print("时间",end-start)
时间
由此可以看出,多个进程进行一个操作的同时,效率非常的高。
进程是操作系统分配资源的最小单元, 线程是操作系统调度的最小单元。也就是说,我们将我们的计算机的所有资源都分配给进程做同一件事情,那么肯定会做的快,做的更优,是不是真的更优呢?
3.回到操作系统里面的知识,信号量机制,为什么会出现信号量呢?我们创建两个进程,两个都是写进程,当两个进程同时并发操作同一文件夹的时候,会出现一个问题是:如果同时写文件,那么保存谁的呢,会不会丢失数据,这个就是进程该进阶的部分,如果进行得不当会不会进行死锁,死锁的四个条件这里要说一下:
a.互斥条件
b.请求保持条件
c.不可抢断条件
d.循环等待
这个是多进程进阶的部分,这里不讲,等待更新就好。
4.Python多进程模块multiprocessing:
Python里面封装了多进程模块,可以使用
from multiprocessing import Process
Process可以创建一个进程,只要给他一个执行函数,比如计算机10**100000的函数名,注意不带(),在加个args=(参数)参数函数,详情请查看我的代码或是官方文档,创建少数进程用Process,多个进程需要用进程池Pool
from multiprocessing import Pool
创建多少个进程,这个以你的CPU个数而定,使用方法是Pool(个数)
就可以了,然后是进行进行函数调用,
p = Pool(4)
for i in range(5):
p.apply_async(cal_num, args=(i,))
Pool模块封装了很多个函数,具体使用方法就请移步官方文档了,
5.Python多线程:有很多人说Python的多线程是假的,为什么呢?因为Python多线程有一个GIL(全局多线程锁),这个东西限制了Python只能同时运行一个线程。这里不探讨真与假,我们只是看看如何实现,因为并发本来就是一个说不通的东西,并发的含义是同一时间断内发生。。。python 3中的多进程编程主要依靠threading模块。创建新线程与创建新进程的方法非常类似。threading.Thread方法可以接收两个参数, 第一个是target,一般指向函数名,第二个时args,需要向函数传递的参数。对于创建的新线程,调用start()方法即可让其开始。我们还可以使用current_thread().name打印出当前线程的名字。
print('这是主线程:{}'.format(threading.current_thread().name))
p1 = threading.Thread(target=cal_num, args=(1,))
p2 = threading.Thread(target=cal_num, args=(2,))
除了使用Thread()方法创建新的线程外,我们还可以通过继承Thread类重写run方法创建新的线程。
class MyThread(threading.Thread):
def __init__(self, func, args , name='', ):
threading.Thread.__init__(self)
self.func = func
self.args = args
self.name = name
self.result = None
def run(self):
print('开始子进程{}'.format(self.name))
self.result = self.func(self.args[0],)
print("结果: {}".format(self.result))
print('结束子进程{}'.format(self.name))