day38线程回调、线程队列、事件event、携程

1. 线程回调

在线程池、进程池中，每次提交任务都会返回一个表示任务的对象（future对象）

future对象具有一个绑定方法：add_done_callback用于指定回调函数

add 意味着可以添加多个回调函数

 

如果直接使用Thread的话，如何完成回调？在线程中继续调用一个函数，并在主线程中把需要调用的函数名单程参数传给子线程，参数名直接加（）就可以调用函数，这样就实现了线程回调。

from threading import Thread

import time


def call_back(res):
    print("回调函数执行完成,结果为%s" % res)

def task(call):
    print("子线程 running")
    time.sleep(3)
    res = 10
    call(res)

t = Thread(target=task, args=(call_back,))
t.start()
print("主线程 Game Over")

 

 

2. 线程队列

from queue import Queue,LifoQueue,PriorityQueue

# 与进程的JoinableQueue使用的方式一样，但是不具备IPC

q = Queue()
q.put(1)
q.task_done()
print(q.get(block=True,timeout=3))
print(q.get())



# LifoQueue
# last in first out 后进先出，先进后出，类似堆栈
# 和Queue除了在顺序取值方面相反，其余都一样


# 具备优先级的队列 PriorityQueue

pq = PriorityQueue()
pq.put("a")
pq.put("A")
print(pq.get())    # A

 

3. 线程事件event

因为不同线程之间是独立运行的状态不可预测，所以一个线程与另一个线程间的数据是不同步的，当一个线程需要利用另一个线程的状态来确定自己的下一步操作时，就必须保持线程间数据的同步，Event就可以实现线程间同步

Event对象包含一个可由线程设置的信号标志,它允许线程等待某些事件的发生。在 初始情况下,Event对象中的信号标志被设置为假。如果有线程等待一个Event对象, 而这个Event对象的标志为假,那么这个线程将会被一直阻塞直至该标志为真。一个线程如果将一个Event对象的信号标志设置为真,它将唤醒所有等待这个Event对象的线程。如果一个线程等待一个已经被设置为真的Event对象,那么它将忽略这个事件, 继续执行

 

event.isSet()：返回event的状态值；
event.wait()：将阻塞线程；知道event的状态为True
event.set()： 设置event的状态值为True，所有阻塞池的线程激活进入就绪状态， 等待操作系统调度；
event.clear()：恢复event的状态值为False。

 

from threading import Thread,Event

import time

boot_event = Event()

def boot_server():
    print("正在启动服务器")
    time.sleep(3)
    print("服务器启动完成")
    boot_event.set()  # 标记事件已经发生；

def connect_server():
    boot_event.wait() # 等待事件发生
    print("链接服务器成功")

t1 = Thread(target=boot_server)
t1.start()
t2 = Thread(target=connect_server)
t2.start()

 

4. 协程

上一节中我们知道GIL锁将导致CPython无法利用多核CPU的优势，只能使用单核并发的执行。很明显效率不高，那有什么办法能够提高效率呢？

效率要高只有一个方法就是让这个当前线程尽可能多的占用CPU时间，如何做到？

任务类型可以分为两种 IO密集型 和 计算密集型

对于计算密集型任务而言 ，无需任何操作就能一直占用CPU直到超时为止，没有任何办法能够提高计算密集任务的效率，除非把GIL锁拿掉，让多核CPU并行执行。

对于IO密集型任务任务，一旦线程遇到了IO操作CPU就会立马切换到其他线程，而至于切换到哪个线程，应用程序是无法控制的，这样就导致了效率降低。

 

如何能提升效率呢？如果可以监测到线程的IO操作时，应用程序自发的切换到其他的计算任务，

 

4.1 单线程实现并发

 

4.1.1 yeild

并发：指的是多个任务同时发生，看起来好像是同时都在进行，并发 = 切换任务+保存状态，只要找到一种方案，能够在两个任务之间切换执行并且保存状态，那就可以实现单线程并发

 

python中的生成器就具备这样一个特点，每次调用next都会回到生成器函数中执行代码，这意味着任务之间可以切换，并且是基于上一次运行的结果，这意味着生成器会自动保存执行状态！

对于纯计算任务而言，单线程并发反而使执行效率下降了一半左右，所以这样的方案对于纯计算任务而言是没有必要的

我们暂且不考虑这样的并发对程序的好处是什么，在上述代码中，使用yield来切换是的代码结构非常混乱，如果十个任务需要切换呢，不敢想象！因此就有人专门对yield进行了封装，这便有了greenlet模块

 

4.1.2 greenlet

该模块简化了yield复杂的代码结构，实现了单线程下多任务并发，但是无论直接使用yield还是greenlet都不能检测IO操作，遇到IO时同样进入阻塞状态，所以此时的并发是没有任何意义的。

现在我们需要一种方案 即可检测IO 又能够实现单线程并发，于是gevent闪亮登场

 

4.2 协程

协程：是单线程下的并发，又称微线程，协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的

 

python的线程属于内核级别的，即由操作系统控制调度（如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其他线程运行）
#2. 单线程内开启协程，一旦遇到io，就会从应用程序级别（而非操作系统）控制切换，以此来提升效率

 

对比操作系统控制线程的切换，用户在单线程内控制协程的切换

优点如下：

1.协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级
2. 单线程内就可以实现并发的效果，最大限度地利用cpu

缺点如下：

1. 协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程来尽可能提高效率
2. 协程本质是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程

 

在Cpython中想要效率最高： 多进程 + 多线程 + 协程

如果这都不够只能集群分布式

# gevent 不具备检测IO的能力  需要为它打补丁  打上补丁之后就能检测IO
# 注意补丁一定打在最上面    必须保证导入模块前就打好补丁

from gevent import monkey
monkey.patch_all()


from threading import current_thread
import gevent,time

def task1():
    print(current_thread(),1)
    print("task1 run")
    time.sleep(3)
    print("task1 over")

def task2():
    print(current_thread(),2)
    print("task2 start")
    print("task2 over")

# spawn 用于创建一个协程任务
g1 = gevent.spawn(task1)
g2 = gevent.spawn(task2)

# 任务要执行,必须保证主线程没挂  因为所有协程任务都是主线在执行   ,必须调用join来等待协程任务
# 理论上等待执行时间最长的任务就行 , 但是不清楚谁的时间长 可以全部join
gevent.joinall([g1,g2])
print("over")

 

 

4.3 monkey

在运行时对方法 / 类 / 属性 / 功能进行修改，把新的代码作为解决方案代替原有的程序，也就是为其打上补丁

 

import json

def dumps():
    print("一个被替换的dump函数")

def loads():
    print("一个被替换的load函数")

def patch_json():
    json.dumps = dumps
    json.loads = loads

patch_json()

 

转载于:https://www.cnblogs.com/jixu/p/10999980.html