Python 多任务-进程

最新推荐文章于 2021-09-26 14:55:03 发布

ch_zs

最新推荐文章于 2021-09-26 14:55:03 发布

阅读量144

点赞数 1

分类专栏： # python 网络通信文章标签： python 多进程

本文链接：https://blog.csdn.net/qq_43665891/article/details/104227643

版权

python 网络通信专栏收录该内容

9 篇文章 2 订阅

订阅专栏

内容 :

一什么是多任务

什么叫“多任务”呢？简单地说，就是操作系统可以同时运行多个任务。打个比方:你一边吃饭，一边看电视，一边在用手机回消息，这就是多任务，至少同时有3个任务正在运行。还有很多任务悄悄地在后台同时运行着，只是桌面上没有显示而已。
线程和进程都可以实现多任务

线程和进程都可以实现多任务

二简单说一下进程的概念

进程：一个程序运行起来后，代码+用到的资源称之为进程 .
进程: 用来表示运行中的程序 , 他是操作系统给这个运行中的程序分配的资源 ¹ 的单位
进程的详细介绍

三 PID

pid是唯一标识进程的号

os.getpid()获取当前进程的pid
os.getppid()获取父进程的pid
Linux系统中查看PID的命令是ps
可以通过Linux命令kill pid的方式结束一个进程，如果进程结束了，就表示这个程序运行结束

四创建进程

引入multiprocessing模块 他是跨平台版本的多进程模块，提供了一个Process类来创建一个进程对象，这个对象可以理解为是一个独立的进程，可以执行另外的事情

第一种创建方式:

直接创建Process的实例对象

import time
import multiprocessing  # 进程的包

def ride():
    while True:
        print("骑马")
        time.sleep(1)
        
def song():
    while True:
        print("唱歌")
        time.sleep(1)

def main():

    """一边骑马一边跳舞"""
    # 创建骑马的进程 并开启
    multiprocessing.Process(target=ride).start()

    # 创建骑马的进程 并开启
    multiprocessing.Process(target=song).start()

if __name__ == '__main__':
    main()

补充: 给进程传参

p = multiprocessing.Process(target=test, args=('小明', 18), kwargs={"id": 1})

解释:

	target指明 创建进程后，进程指定的代码是哪个函数
	args、kwargs用来给 那个函数指明传递的实参
    args：元组
    kwargs：字典

总结 : 通过额外创建一个进程可以实现多任务

第二种创建方式:

自定义一个类，继承Process类
实现run方法
通过自定义的类，创建实例对象
调用实例对象的start方法

from multiprocessing import Process
import time

# 创建我的进程类继承Precess类
class MyNewProcess(Process):
    # 重写run方法
    def run(self):
        # 一直打印 ---1---
        while True:
            print('---1---')
            time.sleep(1)


if __name__ == '__main__':
    # 实例化一个对象
    p = MyNewProcess()
    # 调用p.start()方法，p会先去父类中寻找start()，然后在Process的start方法中调用run方法
    p.start()
    
    #主进程一直打印Main
    while True:
        print('---Main---')
        time.sleep(1)

总结:自定义继承Process类的方式比直接创建Process对象要稍微复杂一些，但是可以用来实现更多较为复杂逻辑的功能

六进程之间的通信（Queue）

进程间是相互独立的，数据不共享，但有时需要数据共享，就需要进程间通信（IPC) . 例如udp、tcp，其实就是一种实现多进程间数据共享的方式，只是它通过套接字（socket）实现了不同电脑上的进程间通信

如果在一台电脑上不同进程之间想通信，就可以用其它的方式实现比如：队列

我们用代码演示下:

# 定义全局变量,一个读一个写
import os
import time
import multiprocessing


# 创建一个自定义进程类 继承进程类
class Write(multiprocessing.Process):
    def __init__(self, q):
        # 调用父类的init方法
        super().__init__()
        # 接收队列
        self.q = q

    def run(self):
        for i in range(100):
            # 向队列添加
            self.q.put(i)
            time.sleep(0.5)


# 创建一个自定义进程类 继承进程类
class Read(multiprocessing.Process):
    def __init__(self, q):
        super().__init__()
        # 接收队列
        self.q = q

    def run(self):
        while True:
            num = self.q.get()
            print('从队列获取', num)


def main():
    # 创建队列
    q = multiprocessing.Queue()

    # 创建对象
    w = Write(q)
    r = Read(q)
    # 调用start方法,开启进程
    w.start()
    r.start()


if __name__ == '__main__':
    main()

七进程池

进程池的作用: 在多个客户端并发请求时提高服务器的处理效率

如果把进程池比作一个容器 , 那他里面装的就都是进程
**假设 : **我们写的一个程序需要运行100个子进程的时候，那么写程序时，不可能循环创建销毁100个进程吧？进程的创建与销毁是很耗系统的资源的。

进程池的作用就体现出来了。↓↓↓

ps:进程池可以控制进程的数量，重复利用进程对象，减少创建和销毁进程的开销
创建一个进程池:

import multiprocessing

# 创建一个进程池
pool = multiprocessing.Pool(5)

这里的 5 是进程池最大容量(自定义) , 里面同时最多装五个进程 , 这五个进程同时处理五个任务,剩下的任务就排队等待 , 直到前面的任务结束后再被执行.

代码演示:

import multiprocessing
import os
import time


def worker(num):
    for i in range(5):
        print('===pid=%d==num=%d=' % (os.getpid(), num))
        time.sleep(1)


if __name__ == '__main__':
    # 创建一个进程池
    pool = multiprocessing.Pool(5)

    for i in range(10):
        print('--------------------------', i)
        # pool.apply()# 同步的
        pool.apply_async(worker, args=(i,))  # 异步

    # 关闭进程池  关闭之后 不能再向池子里添加任务了
    pool.close()
    print(1)
    pool.join()  # 让主进程在这等待
    print(2)

解释:
apply_async(func[, args[, kwds]]) ：使用非阻塞方式调用func（异步执行²，堵塞方式必须等待上一个进程退出才能执行下一个进程），args为传递给func的参数列表，kwds为传递给func的关键字参数列表；
close()：关闭Pool，使其不再接受新的任务；
terminate()：不管任务是否完成，立即终止；
join()：主进程阻塞，等待子进程的退出，必须在close或terminate之后使用

八进程vs线程

1 . 通俗的讲 :

进程，能够完成多任务，比如在一台电脑上能够同时运行多个QQ
线程，能够完成多任务，比如一个QQ中的多个聊天窗口

2 . 定义上的不同:

进程是系统进行资源分配和调度的一个独立单位
线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位.线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),但是它可与同属一个进程的其他的线程共享进程所拥有的全部资源.