并发编程(进程、守护进程)

一、操作系统的发展史:

  1:早期的计算工作方式,手工操作---穿孔卡片

 

手工操作方式的两个特点:

  (1)用户独占全机。不会出现因资源已被其他用户占用而等待的现象,但资源的利用率低。
  (2)CPU 等待手工操作。CPU的利用不充分。
为了提高手工操作引起的系统资源利用率,实现作业的自动过度,引出了批处理的概念

二、进程理论

  程序:就是一堆代码

  进程,顾名思义就是正在执行的一个过程

  1:操作系统的作用:

    (1):隐藏丑陋复杂的硬件接口,提供良好的抽象接口

    (2):管理、调度进程,并且将多个进程对硬件的竞争变得有序

  2:多道技术:

    (1):产生背景:针对单核,实现并发

    (2):空间上的复用:如内存中同时有多道程序 ,多个程序共用一套计算机硬件 

    (3):时间上的复用:复用一个cpu的时间片,切换+保持状态(如洗衣服的等待同时可以去烧水、做饭等)

      1.当一个程序遇到IO操作 操作系统会剥夺该程序的cpu执行权限(提高了cpu的利用率 并且也不影响程序的执行效率)

      2..当一个程序长时间占用cpu 操作系统也会剥夺该程序的cpu执行权限(降低了程序的执行效率)

  3:进程调度:

    (1):先来先服务调度算法

    (2):短作业优先调度算法

    (3):时间片轮转法

    (4):多级反馈队列

  4:进程的并行与并发

    并行:并行是指两者同时进行,

    并发:看起来像是同时运行,如客户端在同时访问,时间的间隔很短

单核的计算机不能实现并行,但是可以实现并发

区别:

  并行:也就是在一个精确的时间片刻,有不同的程序在执行。并发:在一个时间端上可以看出是同时进行的

多线程中的并发,并行与串行的区别:

 

你吃饭吃到一半,电话来了,你一直到吃完了以后才去接,这就说明你不支持并发也不支持并行。
你吃饭吃到一半,电话来了,你停了下来接了电话,接完后继续吃饭,这说明你支持并发。
你吃饭吃到一半,电话来了,你一边打电话一边吃饭,这说明你支持并行。
并发的关键是你有处理多个任务的能力,不一定要同时。
并行的关键是你有同时处理多个任务的能力。
所以我认为它们最关键的点就是:是否是『同时』。

并发就是同步的串行,一个任务执行完执行下一个任务;
并行,在用同一个时刻执行多个线程;
 

三、同步异步阻塞非阻塞

同步异步:表示的是任务的提交方式

   同步:任务提交之后,原地等待任务的执行并拿到返回结果才走,期间不做任何事(程序层面的表现就是卡住了)

   异步:任务提交之后,不再原地等待 而是继续执行下一行代码(结果是可以获取,但是用其他方式获取)>>> 结果的获取使用异步回调机制 

阻塞非阻塞:表示的程序的运行状态

    阻塞:阻塞态
     非阻塞:就绪态或者运行态

 

  注意:强调:同步异步 阻塞非阻塞是两对概念 不能混为一谈

 

在程序中的表示

 

 

同步阻塞形式:

  效率最低:比如只专心的排队,什么事也不用管

异步阻塞形式:排队的同时可以做别的事,等待通知在执行下去

 

四、进程的创建与结束

 1: 创建进程的两种方式:

from multiprocessing import Process
import time

def test(name):
    print('%s is running'%name)
    time.sleep(3)
    print('%s is over'%name)

# """
# windows创建进程会将代码以模块的方式 从上往下执行一遍
# linux会直接将代码完完整整的拷贝一份

# windows创建进程一定要在if __name__ == '__main__':代码块内创建  否则报错
# """
if __name__ == '__main__':
    p = Process(target=test,args=('egon',))  # 创建一个进程对象
    p.start()  # 告诉操作系统帮你创建一个进程
    print('')

>>>
主进程
james is running 
james is over 

第二种是利用模块的内置方法继承

# 创建进程的第二种方式 以继承Process类的形式开启进程的方式
from multiprocessing import Process
import time


class MyProcess(Process):
    def __init__(self,name):
        super().__init__()
        self.name = name

    def run(self):
        print('%s is running' % self.name)
        time.sleep(3)
        print('%s is over' % self.name)


if __name__ == '__main__':
    p = MyProcess('egon')
    p.start()
    print('')

>>>
# 创建进程就是在内存重新开辟一块内存空间
# 将允许产生的代码放进去
# 一个进程对应在内存就是一块独立的内存空间
# 进程与进程之间数据是隔离的 无法直接交互
# 但是可以通过某些技术实现间接的交互

 

2:join 方法 

from multiprocessing import  Process
import time

def test(name,i):
    print('%s in running' % name)
    time.sleep(i)
    print('%s in over '% name )

if __name__ == '__main__':
    p_list= []
    p=Process(target=test,args=("james",1))
    p1= Process(target=test,args=('jack',2))
    p2= Process(target=test,args=('kevin',3))
    start_time = time.time()
    p.start()  # 仅仅是告诉操作系统帮你创建一个进程 至于这个进程什么时候创 操作系统随机决定
    p1.start()
    p2.start()
    # p3.start()
    p.join() # 主进程代码等待子进程运行结束
    
    print("主进程")
    print(time.time()-start_time)

p.start() 仅仅只是告诉操作系统帮你创建一个进程,至于什么时候创,随机的.

p.join() 主进程等待子进程完全结束 后才执行之后的代码 

进阶,多个进程同时运行(注意,子进程的执行顺序不是根据启动顺序决定的)

 

 五、进程间的数据是隔离的

 

# 进程之间的数据是隔离的
import time
from multiprocessing import Process

money =100
def index():
    global money
    money=90000000

if __name__ == '__main__':
    p=Process(target=index)
    p.start()
    p.join()
    time.sleep(1) # 休眠1s 确保 子进程已经完全运行
    print(money)
    print('数据获取了全局的值吗?')

>>>

100
数据获取了全局的值吗?

  通过代码执行的结果验证了子进程与主进程的数据是隔离的状态,不能访问到全局外的数据

 

六、multiprocess模块,multtiprocess.process模块

 

  process模块是一个创建进程的模块,借助这个模块,就可以完成进程的创建。

 

习惯看函数的内部封装原理,了解Process 内部的传参target:目标 对象  

强调:
1. 需要使用关键字的方式来指定参数
2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号,即使所传的元素只有一个也要加,不然会报错。

 

参数介绍:

1 group参数未使用,值始终为None
2 target表示调用对象,即子进程要执行的任务
3 args表示调用对象的位置参数元组,args=(1,2,'egon',)
4 kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}
5 name为子进程的名称

方法介绍:

1:p.start():启动进程,并调用该子进程中的p.run()

2:p.join只能join住start开启的进程,而不能join住run开启的进程 

3:p.terminate():强制终止进程p,不会进行任何清理操作

4 p.is_alive():如果p仍然运行,返回True

属性:

1 p.daemon:默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定为True后,p不能创建自己的新进程,必须在p.start()之前设置

2 p.name:进程的名称

3 p.pid:进程的pid

在windows中使用process模块的注意事项

  创建子进程时必须放到if __name__ ==‘__main__ 后面

 

七、多进程的其他方法

1:查看主进程和子进程的进程号

例如:python是在pycharm里运行的  pycharm就是python的主主进程

 

import os
from multiprocessing import Process

def f(x):
    print('子进程id :',os.getpid(),'父进程id :',os.getppid())
    return x*x

if __name__ == '__main__':
    print('主进程id :', os.getpid())
    p_lst = []
    for i in range(5):
        p = Process(target=f, args=(i,))
        p.start()

2: p.terminate() 强制终止当前进程,只是告知操作系统把进程结束,至于什么时候结束不一定,

  加个time.sleep(),让子进程完全结束掉

  p.is_alive()  判断进程是否存活,结果返回的是布尔值,False或True

from multiprocessing import Process,current_process
import os
import time


def test(name):
    # print('%s is running'%name,current_process().pid)
    print('%s is running'%name,'子进程%s'%os.getpid(),'父进程%s'%os.getppid())
    time.sleep(3)
    print('%s is over'%name)


if __name__ == '__main__':
    p = Process(target=test,args=('egon',))
    p.start()
    p.terminate()  # 杀死当前进程  其实是告诉操作系统帮你杀死一个进程
    time.sleep(0.1)
    print(p.is_alive())  # 判断进程是否存活
    # print('主',current_process().pid)
    print('',os.getpid(),'主主进程:%s'%os.getppid())

 3:守护进程:p.daemon

  会随着主进程的结束而结束

主进程创建守护进程:

  1:守护进程会在主进程代码执行结束后就终止

  2:守护进行内无法在开启子进程,否者抛出异常:AssertionError:

进程自己是互相独立的,主进程代码运行结束,守护进程随即终止

from multiprocessing import Process
import  time
def test(name):
    print("%s老二还活着"%name)
    time.sleep(2)
    print("%s老弟正常死亡"%name)

if __name__ == '__main__':
    p=Process(target=test,args=('james',))
    p.daemon=True
    p.start()
    time.sleep(0.1)  #守护进程时间过短执行完第一句就直接回主进程打印
    print("老大奄奄一息!")

>>
james老二还活着
老大奄奄一息!

七、僵尸进程与孤儿进程

  僵尸进程: 一个父进程利用fork创建子进程,如果子进程退出,而父进程没有利用wait 或者  waitpid 来获取子进程的状态信息,那么子进程的状态描述符依然保存在系统中。

父进程回收子进程资源的两种方式
1.join方法
2.父进程正常死亡
所有的进程都会步入僵尸进程


孤儿进程:一个父进程退出, 而它的一个或几个子进程仍然还在运行,那么这些子进程就会变成孤儿进程,孤儿进程将被init进程(进程号为1)所收养,并由init进程对它们完成状态收集的工作

孤儿进程
子进程没死 父进程意外死亡

针对linux会有儿童福利院(init) 如果父进程意外死亡他所创建的子进程都会被福利院收


互斥锁
当多个进程操作同一份数据的时候 会造成数据的错乱, 这个时候必须加锁处理,例如抢票,在只有一张票的情况不加锁的时候,都显示抢票成功
将并发变成串行
虽然降低了效率但是提高了数据的安全
注意:
1.锁不要轻易使用 容易造成死锁现象
2.只在处理数据的部分加锁 不要在全局加锁

锁必须在主进程中产生 交给子进程去使用

from multiprocessing import Process,Lock  # 模块 Lock 锁
import time
import json

# 查票
def search(i):
    with open('data','r',encoding='utf-8') as f:
        data = f.read()
    t_d = json.loads(data)
    print('用户%s查询余票为:%s'%(i,t_d.get('ticket')))

# 买票
def buy(i):
    with open('data','r',encoding='utf-8') as f:
        data = f.read()
    t_d = json.loads(data)
    time.sleep(1)
    if t_d.get('ticket') > 0:
        # 票数减一
        t_d['ticket'] -= 1
        # 更新票数
        with open('data','w',encoding='utf-8') as f:
            json.dump(t_d,f)
        print('用户%s抢票成功'%i)
    else:
        print('没票了')

def run(i,mutex): # 同时操作两个子进程
    search(i)# 查询
    mutex.acquire()  # 抢锁  只要有人抢到了锁 其他人必须等待该人释放锁
    buy(i)
    mutex.release()  # 释放锁

if __name__ == '__main__':
    mutex = Lock()  # 生成了一把锁
    for i in range(10):
        p = Process(target=run,args=(i,mutex))
        p.start()

 结果:加锁后,当有一个抢票成功后,后面的已经没有了,数据

:

 

 

 

 

 

 

 

 

 

 

转载于:https://www.cnblogs.com/Gaimo/p/11328004.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值