多进程多线程一

多进程


概念:
进程是程序在计算机上的一次执行活动。当你运行一个程序,你就启动了一个进程。显然,程序是死的(静态的),进程是活的(动态的)。进程可以分为系统进程和用户进程。凡是用于完成操作系统的各种功能的进程就是系统进程,它们就是处于运行状态下的操作系统本身;用户进程就不必我多讲了吧,所有由你启动的进程都是用户进程。进程是操作系统进行资源分配的单位。 
它的思想简单介绍如下:在操作系统的管理下,所有正在运行的进程轮流使用CPU,每个进程允许占用CPU的时间非常短(比如10毫秒),这样用户根本感觉不出来CPU是在轮流为多个进程服务,就好象所有的进程都在不间断地运行一样。但实际上在任何一个时间内有且仅有一个进程占有CPU。

多进程和多线程的区别:

多线程使用的是cpu的一个核,适合io密集型
多进程使用的是cpu的多个核,适合运算密集型

组件:

Python提供了非常好用的多进程包,multiprocessing,我们在使用的时候,只需要导入该模块就可以了。

Multiprocessing支持子进程,通信,共享数据,执行不同形式的同步,提供了Process,Pipe, Lock等组件

Process

1. 创建一个Process对象
p = multiprocessing.Process(target=worker_1, args=(2, ))

target = 函数名字
args =    函数需要的参数,以tuple的形式传入
注意: 单个元素的tuple的表现形式


multprocessing用到的两个方法
cpu_count()         统计cpu总数
active_children()  获得所有子进程

 

 Process的常用方法

p.is_alive()     判断进程是否存活
p.run()          启动进程
p.start()        启动进程,会自动调用run方法(推荐使用)
p.join(timeout)  等待子进程执行的超时时间
p.terminate()    强制退出子进程
p.name           进程的名字
p.pid            进程的pid

例子:

import multiprocessing

import time


def worker(args, interval):
    print("start worker {0}".format(args))
    time.sleep(interval)
    print("end worker {0}".format(args))

def main():
    print("start main")
    p1 = multiprocessing.Process(target=worker , args=(1, 1))
    p2 = multiprocessing.Process(target=worker , args=(2, 2))
    p3 = multiprocessing.Process(target=worker , args=(3, 3))
    p1.start()
    p1.join(timeout=3)
    p2.start()
    p3.start()
    print("the number of cpu is :{0}".format(multiprocessing.cpu_count()))
    for p in multiprocessing.active_children():
        print("The name of active children is :{0}, pid is :{1} is alive".format(p.name, p.pid))
    print("end main")

if __name__ == '__main__':
    main()

输出结果:

start main
start worker 1
end worker 1
the number of cpu is :4
The name of active children is :Process-2, pid is :1760 is alive
The name of active children is :Process-3, pid is :4560 is alive
end main
start worker 2
start worker 3
end worker 2
end worker 3

Lock组件

当我们用多进程来读写文件的时候,如果一个进程是写文件,一个进程是读文件,如果两个文件同时进行,肯定是不行的,必须是文件写结束以后,才可以进行读操作。或者是多个进程在共享一些资源的时候,同时只能有一个进程进行访问,那就要有一个锁机制进行控制。

 

acquire()
locked()
release() //释放锁,使用前线程必须已获得锁定,否则抛出异常
lock=thread.allocate_lock():生成锁对象
lock.acquire():加锁
线程使用锁对象
lock.release(): 线程调度释放锁
查看locked()状态

获得一把锁,把对放的锁释放

threading 高级别多线程模块

threading 不需要进程的控制来控制线程
threading.Thread: 类
成员方法:
start() 启动
run() 重写
join() 阻塞
getName()
setName()
isDaemon() 判断线程是否随主线程一起结束
setDaemon() 设置线程与主线程一起结束

 

共享内存
python的multiprocessing模块也给我们提供了共享内存的操作

一般的变量在进程之间是没法进行通讯的,multiprocessing给我们提供了Value和Array模块,他们可以在不通的进程中共同使用





评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值