多任务的执行方式，进程，线程，互斥锁，死锁

枭玉龙

已于 2023-09-13 11:07:36 修改

阅读量351

点赞数

分类专栏： # python基础文章标签： python 多线程

于 2020-07-23 21:19:05 首次发布

本文链接：https://blog.csdn.net/qq_46107892/article/details/107441269

版权

python基础专栏收录该内容

32 篇文章 1 订阅

订阅专栏

多任务的执行方式，进程，线程，互斥锁，死

多任务：在同一个时间段同时执行多个任务
并发：在同一段时间交替去执行多个任务
并行：在同一时刻内执行多个任务

进程：操作系统是资源分配的最小单位
多进程：是python实现多任务

 一个进程默认提供一条线程，进程可以创建多个线程。
线程是依附在进程里面的，没有进程就没有线程。

区别对比

进程之间不共享全局变量

线程之间共享全局变量，但是要注意资源竞争的问题，解决办法: 互斥锁或者线程同步

创建进程的资源开销要比创建线程的资源开销要大

进程是操作系统资源分配的基本单位，线程是CPU调度的基本单位

线程不能够独立执行，必须依存在进程中

多进程开发比单进程多线程开发稳定性要强

优缺点对比

进程优缺点:
    优点：可以用多核
    缺点：资源开销大
线程优缺点:
    优点：资源开销小
    缺点：不能使用多核

多任务函数基础命令：

import multiprocessing

Process进程类的说明
Process([group [, target [, name [, args [, kwargs]]]]])

    group：指定进程组，目前只能使用None
    target：执行的目标任务名（函数名，线程名）
    name：进程名字
    args：以元组方式给执行任务传参
      #列：对象 = multiprocessing.Process（target = 函数（方法名）args =（数子或传入的字符，））#这个是元组传参要加逗号
    kwargs：以字典方式给执行任务传参
     #列：对象 = multiprocessing.Process（target = 函数（方法名）kwargs = {形参的名字：要传入的数值或传入的字符}）
    
Process创建的实例对象的常用方法:
    子进程对象.start()：启动子进程实例（创建子进程）
    子进程对象.join()：等待子进程执行结束
    子进程对象.terminate()：不管任务是否完成，立即终止子进程
    子进程对象.daemom = True:不管任务是否完成，立即终止子进程







ps -aux|grep pycharm* ：过滤需要的进程来查看ID
os.getpid    ：查看子进程编号
kill -9 进程id：强制杀死进程


**进程之间不共享全局变量**：进程之间都是相互独立的，不共享全局变量。
子进程创建的把主进程	



# 线程：
    对象名 = threading.Thread(target=方法名,daemon= True)主线程结束，会让子线程结束(方法1）
    对象名 .setDaemon(True)：在启动线程之前主线程结束，会让子线程结束(方法2）

不能直接杀死线程，只能通过停止线程的循环，才能停止线程
设置终止变量，结束循环
hasFinsh = False
if hasFinsh：
	return

线程之间是没有任何顺序的
线程是可以共享全局变量的





import time
import multiprocessing
def coding():
    for i in range(3):
        print("coding..")
        time.sleep(0.2)
def music():
    for i in range(3):
        print("music..")
        time.sleep(0.3)
if __name__ == '__main__':
    coding_process = multiprocessing.Process(target=coding)
    music_process = multiprocessing.Process(target=music)
    coding_process.start()
    music_process.start()


1：#导入进程包
# import  multiprocessing

2：#创建一个进程任务（方法，函数）
# def（）
#     pass

3：#调用进程函数（target = 方法名）
#对象名 = multiprocessing.Process(target=方法名）

4：#启动进程
#对象名.start




Process创建的实例对象的常用属性:
name：当前进程的别名，默认为Process-N，N为从1开始递增的整数 


让子进程销毁：
 sub_process.terminate()
   exit()

获得当前的进程编号
os.getpid:获得当前的进程编号
os.getppid:获取当前的父进程
第二种的进程编号
查看进程的
multiprocessing.current_process().name进程名字

多线程的使用

#导入线程模块
import threading

2. 线程类Thread参数说明

Thread([group [, target [, name [, args [, kwargs]]]]])

    group: 线程组，目前只能使用None
    target: 执行的目标任务名
    args: 以元组的方式给执行任务传参
    kwargs: 以字典方式给执行任务传参
    name: 线程名，一般不用设置
    join：线程等待

    导入线程模块
        import threading
    创建子线程并指定执行的任务
        sub_thread = threading.Thread(target=任务名)
    启动线程执行任务
        sub_thread.start()

守护主线程:
    守护主线程就是主线程退出子线程销毁不再执行
设置守护主线程有两种方式：
    threading.Thread(target=show_info, daemon=True)
    线程对象.setDaemon(True)

互斥锁

互斥锁
	# 创建锁
	mutex = threading.Lock()
	# 上锁
	mutex.acquire()
	...这里编写代码能保证同一时刻只能有一个线程去操作, 对共享数据进行锁定...
	# 释放锁
	mutex.release()

协程

import gevent

def f(n):
    for i in range(n):
        print(gevent.getcurrent(), i)

g1 = gevent.spawn(f, 5)
g2 = gevent.spawn(f, 5)
g3 = gevent.spawn(f, 5)
g1.join()
g2.join()
g3.join()





from gevent import monkey
import gevent
import random
import time

# 有耗时操作时需要
monkey.patch_all()  # 将程序中用到的耗时操作的代码，换为gevent中自己实现的模块

def coroutine_work(coroutine_name):
    for i in range(10):
        print(coroutine_name, i)
        time.sleep(random.random())

gevent.joinall([
        gevent.spawn(coroutine_work, "work1"),
        gevent.spawn(coroutine_work, "work2")
])

多任务完成多任务的代码

import multiprocessing
import time


# 吃饭任务
def dance():
    for i in range(5):
        print("吃饭中...")
        time.sleep(0.2)


# 喝水任务
def sing():
    for i in range(5):
        print("喝水中...")
        time.sleep(0.2)

if __name__ == '__main__':
    # 创建吃饭的子进程
    # group: 表示进程组，目前只能使用None
    # target: 表示执行的目标任务名(函数名、方法名)
    # name: 进程名称, 默认是Process-1, .....
    dance_process = multiprocessing.Process(target=dance, name="myprocess1")
    sing_process = multiprocessing.Process(target=sing)

    # 启动子进程执行对应的任务
    dance_process.start()
    sing_process.start()

获取进程编号

os.getpid() 表示获取当前进程编号
import multiprocessing
import time
import os


# 跳舞任务
def dance():
    # 获取当前进程的编号
    print("dance:", os.getpid())
    # 获取当前进程
    print("dance:", multiprocessing.current_process())
    for i in range(5):
        print("跳舞中...")
        time.sleep(0.2)
        # 扩展:根据进程编号杀死指定进程
        os.kill(os.getpid(), 9)


# 唱歌任务
def sing():
    # 获取当前进程的编号
    print("sing:", os.getpid())
    # 获取当前进程
    print("sing:", multiprocessing.current_process())
    for i in range(5):
        print("唱歌中...")
        time.sleep(0.2)


if __name__ == '__main__':

    # 获取当前进程的编号
    print("main:", os.getpid())
    # 获取当前进程
    print("main:", multiprocessing.current_process())
    # 创建跳舞的子进程
    # group: 表示进程组，目前只能使用None
    # target: 表示执行的目标任务名(函数名、方法名)
    # name: 进程名称, 默认是Process-1, .....
    dance_process = multiprocessing.Process(target=dance, name="myprocess1")
    sing_process = multiprocessing.Process(target=sing)

    # 启动子进程执行对应的任务
    dance_process.start()
    sing_process.start()

以args和kwargs参数的使用

import multiprocessing
import time


# 带有参数的任务
def task(count):
    for i in range(count):
        print("任务执行中..")
        time.sleep(0.2)
    else:
        print("任务执行完成")


if __name__ == '__main__':
    # 创建子进程
    # args: 以元组的方式给任务传入参数
    sub_process = multiprocessing.Process(target=task, args=(5,))
    sub_process.start()

进程之前不共享全局变量

import multiprocessing
import time

# 定义全局变量
g_list = list()


# 添加数据的任务
def add_data():
    for i in range(5):
        g_list.append(i)
        print("add:", i)
        time.sleep(0.2)

    # 代码执行到此，说明数据添加完成
    print("add_data:", g_list)


def read_data():
    print("read_data", g_list)


if __name__ == '__main__':
    # 创建添加数据的子进程
    add_data_process = multiprocessing.Process(target=add_data)
    # 创建读取数据的子进程
    read_data_process = multiprocessing.Process(target=read_data)

    # 启动子进程执行对应的任务
    add_data_process.start()
    # 主进程等待添加数据的子进程执行完成以后程序再继续往下执行，读取数据
    add_data_process.join()
    read_data_process.start()

    print("main:", g_list)

守护主进程:

守护主进程就是主进程退出子进程销毁不再执行
为了保证子进程能够正常的运行，主进程会等所有的子进程执行完成以后再销毁，
设置守护主进程的目的是主进程退出子进程销毁，不让主进程再等待子进程去执行。
设置守护主进程方式： 子进程对象.daemon = True
销毁子进程方式： 子进程对象.terminate()

让子进程销毁：

 sub_process.terminate()
   exit()



import multiprocessing
import time


# 定义进程所需要执行的任务
def task():
    for i in range(10):
        print("任务执行中...")
        time.sleep(0.2)

if __name__ == '__main__':
    # 创建子进程
    sub_process = multiprocessing.Process(target=task)
    # 设置守护主进程，主进程退出子进程直接销毁，子进程的生命周期依赖与主进程
    # sub_process.daemon = True
    sub_process.start()

    time.sleep(0.5)
    print("over")
    # 让子进程销毁
    sub_process.terminate()
    exit()

    # 总结： 主进程会等待所有的子进程执行完成以后程序再退出
    # 如果想要主进程退出子进程销毁，可以设置守护主进程或者在主进程退出之前让子进程销毁

线程

线程是进程中执行代码的一个分支，每个执行分支（线程）要想工作执行
代码需要cpu进行调度 ，也就是说线程是cpu调度的基本单位，每个进程至
少都有一个线程，而这个线程就是我们通常说的主线程。

**线程的介绍**

线程之间执行是无序的
主线程会等待所有的子线程执行结束再结束
线程之间共享全局变量
线程之间共享全局变量数据出现错误问题

多线程完成多任务的代码



import threading
import time

# 唱歌任务
def sing():
    # 扩展： 获取当前线程
    # print("sing当前执行的线程为：", threading.current_thread())
    for i in range(3):
        print("正在唱歌...%d" % i)
        time.sleep(1)

# 跳舞任务
def dance():
    # 扩展： 获取当前线程
    # print("dance当前执行的线程为：", threading.current_thread())
    for i in range(3):
        print("正在跳舞...%d" % i)
        time.sleep(1)


if __name__ == '__main__':
    # 扩展： 获取当前线程
    # print("当前执行的线程为：", threading.current_thread())
    # 创建唱歌的线程
    # target： 线程执行的函数名
    #sub_thread = threading.Thread(target=任务名)
    sing_thread = threading.Thread(target=sing)

    # 创建跳舞的线程
    dance_thread = threading.Thread(target=dance)
 	# args: 以元组的方式给任务传入参数
    sub_thread = threading.Thread(target=task, args=(5,))


    sub_thread.start()
    # 开启线程
    sing_thread.start()
    dance_thread.start()

线程之间共享全局变量

import threading
import time


# 定义全局变量
my_list = list()

# 写入数据任务
def write_data():
    for i in range(5):
        my_list.append(i)
        time.sleep(0.1)
    print("write_data:", my_list)


# 读取数据任务
def read_data():
    print("read_data:", my_list)


if __name__ == '__main__':
    # 创建写入数据的线程
    write_thread = threading.Thread(target=write_data)
    # 创建读取数据的线程
    read_thread = threading.Thread(target=read_data)

    write_thread.start()
    # 延时
    # time.sleep(1)
    # 主线程等待写入线程执行完成以后代码在继续往下执行
    write_thread.join()
    print("开始读取数据啦")
    read_thread.start()

线程等待join

import threading

# 定义全局变量
g_num = 0


# 循环1000000次每次给全局变量加1
def sum_num1():
    for i in range(1000000):
        global g_num
        g_num += 1

    print("sum1:", g_num)


# 循环1000000次每次给全局变量加1
def sum_num2():
    for i in range(1000000):
        global g_num
        g_num += 1
    print("sum2:", g_num)


if __name__ == '__main__':
    # 创建两个线程
    first_thread = threading.Thread(target=sum_num1)
    second_thread = threading.Thread(target=sum_num2)

    # 启动线程
    first_thread.start()
    # 主线程等待第一个线程执行完成以后代码再继续执行，让其执行第二个线程
    # 线程同步： 一个任务执行完成以后另外一个任务才能执行，同一个时刻只有一个任务在执行
    first_thread.join()
    # 启动线程
    second_thread.start()

互斥锁：

对共享数据进行锁定，保证同一时刻只能有一个线程去操作。

互斥锁的使用

threading模块中定义了Lock变量，这个变量本质上是一个函数，通过调用这个函数可以获取一把互斥锁。

# 创建锁
mutex = threading.Lock()

# 上锁
mutex.acquire()

...这里编写代码能保证同一时刻只能有一个线程去操作, 对共享数据进行锁定...

# 释放锁
mutex.release()



import threading
# 定义全局变量
g_num = 0

# 创建全局互斥锁
lock = threading.Lock()


# 循环一次给全局变量加1
def sum_num1():
    # 上锁
    lock.acquire()
    for i in range(1000000):
        global g_num
        g_num += 1

    print("sum1:", g_num)
    # 释放锁
    lock.release()


# 循环一次给全局变量加1
def sum_num2():
    # 上锁
    lock.acquire()
    for i in range(1000000):
        global g_num
        g_num += 1
    print("sum2:", g_num)
    # 释放锁
    lock.release()


if __name__ == '__main__':
    # 创建两个线程
    first_thread = threading.Thread(target=sum_num1)
    second_thread = threading.Thread(target=sum_num2)
    # 启动线程
    first_thread.start()
    second_thread.start()

    # 提示：加上互斥锁，那个线程抢到这个锁我们决定不了，那线程抢到锁那个线程先执行，没有抢到的线程需要等待
    # 加上互斥锁多任务瞬间变成单任务，性能会下降，也就是说同一时刻只能有一个线程去执行

死锁

import threading
import time

# 创建互斥锁
lock = threading.Lock()


# 根据下标去取值， 保证同一时刻只能有一个线程去取值
def get_value(index):

    # 上锁
    lock.acquire()
    print(threading.current_thread())
    my_list = [3,6,8,1]
    # 判断下标释放越界
    if index >= len(my_list):
        print("下标越界:", index)
        return
    value = my_list[index]
    print(value)
    time.sleep(0.2)
    # 释放锁
    lock.release()


if __name__ == '__main__':
    # 模拟大量线程去执行取值操作
    for i in range(30):
        sub_thread = threading.Thread(target=get_value, args=(i,))
        sub_thread.start()

避免死锁

合适的地方释放锁

import threading
import time

# 创建互斥锁
lock = threading.Lock()


# 根据下标去取值， 保证同一时刻只能有一个线程去取值
def get_value(index):

    # 上锁
    lock.acquire()
    print(threading.current_thread())
    my_list = [3,6,8,1]
    if index >= len(my_list):
        print("下标越界:", index)
        # 当下标越界需要释放锁，让后面的线程还可以取值
        lock.release()
        return
    value = my_list[index]
    print(value)
    time.sleep(0.2)
    # 释放锁
    lock.release()


if __name__ == '__main__':
    # 模拟大量线程去执行取值操作
    for i in range(30):
        sub_thread = threading.Thread(target=get_value, args=(i,))
        sub_thread.start()