一、线程概念的引入背景
之前我们了解了进程，程序并不能单独运行，只有将程序装载到内存中，系统为它分配资源才能运行，而这种执行的程序就称之为进程。程序和进程的区别就在于：程序是指令的集合，它是进程运行的静态描述文本；进程是程序的一次执行活动，属于动态概念。在多道编程中，我们允许多个程序同时加载到内存中，在操作系统的调度下，可以实现并发地执行。这样的设计，大大提高了CPU的利用率。进程的出现让每个用户感觉到自己独享CPU，因此，进程就是为了在CPU上实现多道编程而提出的。
有了进程为什么要有线程
进程有很多优点，它提供了多道编程，让我们感觉我们每个人都拥有自己的CPU和其他资源，可以提高计算机的利用率。很多人就不理解了，既然进程这么优秀，为什么还要线程呢？其实，仔细观察就会发现进程还是有很多缺陷的，主要体现在两点上：
-
进程只能在一个时间干一件事，如果想同时干两件事或多件事，就需要启多进程。
-
进程在执行的过程中如果阻塞，例如等待输入，整个进程就会挂起，即使进程中有些工作不依赖于输入的数据，也将无法执行。
- 进程中的内存是隔离的，数据之间不能共享的。
为了解决进程的缺陷，引入了一种机制——线程。
线程的出现
二、进程和线程的区别
三、线程的特点
TCB包括以下信息： （1）线程状态。 （2）当线程不运行时，被保存的现场资源。 （3）一组执行堆栈。 （4）存放每个线程的局部变量主存区。 （5）访问同一个进程中的主存和其它资源。 用于指示被执行指令序列的程序计数器、保留局部变量、少数状态参数和返回地址等的一组寄存器和堆栈。
2）独立调度和分派的基本单位。
四、内存中的线程
多个线程共享同一个进程的地址空间中的资源，是对一台计算机上多个进程的模拟，有时也称线程为轻量级的进程。而对一台计算机上的多个进程，则共享物理内存、磁盘、打印机等其他物理资源。多线程的运行和多进程的运行类似，是cpu在多个线程之间的快速切换。
不同的进程之间是充满敌意的，彼此是抢占、竞争cpu的关系。而同一个进程是由一个程序员的程序创建，所以同一进程内的线程是合作关系，一个线程可以访问另外一个线程的内存地址，大家都是共享的。
类似于进程，每个线程也有自己的堆栈，不同于进程，线程库无法利用时钟中断来强制线程让出CPU，可以调用thread_yield运行线程自动放弃cpu，让另外一个线程运行。
线程通常是有益的，但是带来了不小程序设计难度，线程的问题是：
1. 父进程有多个线程，那么开启的子进程是否需要同样多的线程
2. 在同一个进程中，如果一个线程关闭了文件，而另外一个线程正准备往该文件内写内容呢？
因此，在多线程的代码中，需要更多的心思来设计程序的逻辑、保护程序的数据。
五、使用线程的实际场景
六、用户级线程和内核级线程
线程的实现可以分为两类：用户级线程(User-Level Thread)和内核级线程(Kernel-Level Thread)，后者又称为内核支持的线程或轻量级进程。在多线程操作系统中，各个系统的实现方式并不相同，在有的系统中实现了用户级线程，有的系统中实现了内核级线程。
用户级线程
内核的切换由用户态程序自己控制内核切换,不需要内核干涉，少了进出内核态的消耗，但不能很好的利用多核Cpu。
在用户空间模拟操作系统对进程的调度，来调用一个进程中的线程，每个进程中都会有一个运行时系统，用来调度线程。此时当该进程获取cpu时，进程内再调度出一个线程去执行，同一时刻只有一个线程执行。
内核级线程
内核级线程:切换由内核控制，当线程进行切换的时候，由用户态转化为内核态。切换完毕要从内核态返回用户态；可以很好的利用smp，即利用多核cpu。windows线程就是这样的。
用户级与内核级线程的对比
1 内核支持线程是OS内核可感知的，而用户级线程是OS内核不可感知的。 2 用户级线程的创建、撤消和调度不需要OS内核的支持，是在语言（如Java）这一级处理的；而内核支持线程的创建、撤消和调度都需OS内核提供支持，而且与进程的创建、撤消和调度大体是相同的。 3 用户级线程执行系统调用指令时将导致其所属进程被中断，而内核支持线程执行系统调用指令时，只导致该线程被中断。 4 在只有用户级线程的系统内，CPU调度还是以进程为单位，处于运行状态的进程中的多个线程，由用户程序控制线程的轮换运行；在有内核支持线程的系统内，CPU调度则以线程为单位，由OS的线程调度程序负责线程的调度。 5 用户级线程的程序实体是运行在用户态下的程序，而内核支持线程的程序实体则是可以运行在任何状态下的程序。
优点：当有多个处理机时，一个进程的多个线程可以同时执行。
缺点：由内核进行调度。
优点：
线程的调度不需要内核直接参与，控制简单。
可以在不支持线程的操作系统中实现。
创建和销毁线程、线程切换代价等线程管理的代价比内核线程少得多。
允许每个进程定制自己的调度算法，线程管理比较灵活。
线程能够利用的表空间和堆栈空间比内核级线程多。
同一进程中只能同时有一个线程在运行，如果有一个线程使用了系统调用而阻塞，那么整个进程都会被挂起。另外，页面失效也会产生同样的问题。
缺点：
资源调度按照进程进行，多个处理机下，同一个进程中的线程只能在同一个处理机下分时复用
混合实现
用户级与内核级的多路复用，内核统一调度内核线程，每个内核线程对应n个用户线程
linux操作系统的 NPTL
历史 在内核2.6以前的调度实体都是进程，内核并没有真正支持线程。它是能过一个系统调用clone()来实现的，这个调用创建了一份调用进程的拷贝，跟fork()不同的是,这份进程拷贝完全共享了调用进程的地址空间。LinuxThread就是通过这个系统调用来提供线程在内核级的支持的(许多以前的线程实现都完全是在用户态，内核根本不知道线程的存在)。非常不幸的是，这种方法有相当多的地方没有遵循POSIX标准，特别是在信号处理，调度，进程间通信原语等方面。 很显然，为了改进LinuxThread必须得到内核的支持，并且需要重写线程库。为了实现这个需求，开始有两个相互竞争的项目：IBM启动的NGTP(Next Generation POSIX Threads)项目，以及Redhat公司的NPTL。在2003年的年中，IBM放弃了NGTP，也就是大约那时，Redhat发布了最初的NPTL。 NPTL最开始在redhat linux 9里发布，现在从RHEL3起内核2.6起都支持NPTL，并且完全成了GNU C库的一部分。 设计 NPTL使用了跟LinuxThread相同的办法，在内核里面线程仍然被当作是一个进程，并且仍然使用了clone()系统调用(在NPTL库里调用)。但是，NPTL需要内核级的特殊支持来实现，比如需要挂起然后再唤醒线程的线程同步原语futex. NPTL也是一个1*1的线程库，就是说，当你使用pthread_create()调用创建一个线程后，在内核里就相应创建了一个调度实体，在linux里就是一个新进程，这个方法最大可能的简化了线程的实现。 除NPTL的1*1模型外还有一个m*n模型，通常这种模型的用户线程数会比内核的调度实体多。在这种实现里，线程库本身必须去处理可能存在的调度，这样在线程库内部的上下文切换通常都会相当的快，因为它避免了系统调用转到内核态。然而这种模型增加了线程实现的复杂性,并可能出现诸如优先级反转的问题，此外，用户态的调度如何跟内核态的调度进行协调也是很难让人满意。
七、线程和python
7.1全局解释器锁GIL
Python代码的执行由Python虚拟机(也叫解释器主循环)来控制。Python在设计之初就考虑到要在主循环中，同时只有一个线程在执行。虽然 Python 解释器中可以“运行”多个线程，但在任意时刻只有一个线程在解释器中运行。
对Python虚拟机的访问由全局解释器锁(GIL)来控制，正是这个锁能保证同一时刻只有一个线程在访问CPU。锁的是线程。这是Cpython解释器的特性。
在多线程环境中，Python 虚拟机按以下方式执行：
a、设置 GIL；
b、切换到一个线程去运行；
c、运行指定数量的字节码指令或者线程主动让出控制(可以调用 time.sleep(0))；
d、把线程设置为睡眠状态；
e、解锁 GIL；
d、再次重复以上所有步骤。
在调用外部代码(如 C/C++扩展函数)的时候，GIL将会被锁定，直到这个函数结束为止(由于在这期间没有Python的字节码被运行，所以不会做线程切换).编写扩展程序的程序员可以主动解锁GIL。
在多线程的执行过程中，同一时刻，一个进程里的两个或多个线程可以同时被不同的两个或者多个CPU所调用执行。而一个进程中所有线程间数据是共享的，所以就会造成数据的使用混乱和不安全问题，Cpython解释器为了避免这个问题，所以就加了一个GIL全局解释器锁。但是有了GIL，仍然不能从根本上解决这个问题，由于时间片的轮转，也会小概率的造成数据的不安全（一个线程对一个数据进行处理，刚好时间片轮转，无法及时将处理结果返回，而下一个任务刚好也使用这个数据，就造成数据的混乱），所以在多线程中我们仍然会用到锁（Lock）。到目前为止，还没有一门解释型语言能够真正的利用多核解决并发（同一时间多个线程共同使用CPU）。
7.2python线程模块的选择
Python提供了几个用于多线程编程的模块，包括thread、threading和Queue等。thread和threading模块允许程序员创建和管理线程。thread模块提供了基本的线程和锁的支持，threading提供了更高级别、功能更强的线程管理的功能。Queue模块允许用户创建一个可以用于多个线程之间共享数据的队列数据结构。
避免使用thread模块，因为更高级别的threading模块更为先进，对线程的支持更为完善，而且使用thread模块里的属性有可能会与threading出现冲突；其次低级别的thread模块的同步原语很少(实际上只有一个)，而threading模块则有很多；再者thread模块中，当主线程结束时，所有的线程都会被强制结束掉，没有警告也不会有正常的清除工作，至少threading模块能确保重要的子线程退出后进程才退出。
thread模块不支持守护线程，当主线程退出时，所有的子线程不论它们是否还在工作，都会被强行退出。而threading模块支持守护线程，守护线程一般是一个等待客户请求的服务器，如果没有客户提出请求它就在那等着，如果设定一个线程为守护线程，就表示这个线程是不重要的，在进程退出的时候，不用等待这个线程退出。
总之，threading模块的性能更强大，而thread更偏向底层。threading模块是基于thread模块之上的。就如同datetime模块是基于time模块之上写的。
八、threading模块
multiprocess模块完全模仿了threading模块的接口，二者在使用层面，有很大的相似性。
8.1线程的创建threading.Thread类
线程的创建有两种方式：
import time from threading import Thread def func(n): time.sleep(1) print(n+1) for i in range(10): t = Thread(target=func,args=(i,)) t.start()
#继承Thread实现 import time from threading import Thread class Mythread(Thread): def __init__(self,name): super().__init__() self.name = name def run(self): time.sleep(1) print(self.name) for i in range(10): mythread = Mythread(i) mythread.start()
import os from threading import Thread def loop(n): print('子线程%s'%n,os.getpid()) print('主线程',os.getpid()) for i in range(10): Thread(target=loop,args=(i,)).start() #主线程和子线程的pid一样，都在一个进程中
多进程和多线程的效率对比：
import time from threading import Thread def operation(n): print(n**n) start = time.time() t_lis = [] for i in range(10): t = Thread(target=operation,args=(i,)) t.start() t_lis.append(t) [t.join()for t in t_lis] t = time.time() - start print(t) #0.0020041465759277344 print('主线程') import time from multiprocessing import Process def operation(n): print(n**n) if __name__ == '__main__': start = time.time() p_lis = [] for i in range(10): p = Process(target=operation,args=(i,)) p.start() p_lis.append(p) [p.join()for p in p_lis] t = time.time() - start print(t) #0.3263669013977051 print('主进程')
数据共享问题
from threading import Thread from multiprocessing import Process import os def work(): global n n=0 if __name__ == '__main__': n=100 p=Process(target=work) p.start() p.join() print('主',n) # n = 100毫无疑问子进程p已经将自己的全局的n改成了0,但改的仅仅是它自己的,查看父进程的n仍然为100 n=100 t=Thread(target=work) t.start() t.join() print('主',n) #查看结果为0,因为同一进程内的线程之间共享进程内的数据
8.2使用多线程实现socket
import socket from threading import Thread def chat(conn): conn.send(b'hello') msg = conn.recv(1024).decode('utf-8') print(msg) conn.close() sk = socket.socket() sk.bind(('127.0.0.1',9000)) sk.listen() while 1: conn,addr = sk.accept() Thread(target=chat,args=(conn,)).start() sk.close()
import socket sk = socket.socket() sk.connect(('127.0.0.1',9000)) msg = sk.recv(1024).decode('utf-8') print(msg) content = input('>>>>') sk.send(content.encode('utf-8')) sk.close()
备注：多线程中子线程可以使用input()方法，会并排的打印到主线程上。
8.3Thread类的其他方法
Thread实例对象的方法
# isAlive(): 返回线程是否活动的。
# getName(): 返回线程名。
# setName(): 设置线程名。 threading模块提供的一些方法： # threading.currentThread(): 返回当前的线程变量。 # threading.enumerate(): 返回一个包含正在运行的线程的list。正在运行指线程启动后、结束前，不包括启动前和终止后的线程。 # threading.activeCount(): 返回正在运行的线程数量，与len(threading.enumerate())有相同的结果。
import time import threading #threading.get_ident() 获取线程编号 #threading.current_thread() 获取线程对象（线程名，线程号） def son_thread(n): print(n,threading.current_thread(),threading.get_ident()) #2 <Thread(Thread-1, started 7688)> 7688 threading.Thread(target=son_thread,args=(2,)).start() print(threading.current_thread(),threading.get_ident()) #<_MainThread(MainThread, started 12568)> 12568 #threading.active_count() #查看当前线程的活跃数 #threading.enumerate() 将所有的线程对象（threading.current_thread）添加到一个列表中， # len(threading.enumerate()) 对这个列表len（）得到所有的线程数 等于 threading.active_count 的值 def func(i): time.sleep(0.1) print('in func',i) for i in range(10): threading.Thread(target=func,args=(i,)).start() print('**',threading.active_count()) #11 当前线程活跃数为11,10个子线程+1个主线程 print(threading.enumerate()) #[<_MainThread(MainThread, started 10848)>, <Thread(Thread-1, started 16584)>, <Thread(Thread-2, started 13424)>, # <Thread(Thread-3, started 15912)>, <Thread(Thread-4, started 14012)>, <Thread(Thread-5, started 12692)>, <Thread(Thread-6, started 7736)>, # <Thread(Thread-7, started 5344)>, <Thread(Thread-8, started 8888)>, <Thread(Thread-9, started 6056)>, <Thread(Thread-10, started 2284)>] print(len(threading.enumerate())) #11
8.4守护线程
无论是进程还是线程，都遵循：守护xx会等待主xx运行完毕后被销毁。需要强调的是：运行完毕并非终止运行
#1.对主进程来说，运行完毕指的是主进程代码运行完毕
#2.对主线程来说，运行完毕指的是主线程所在的进程内所有非守护线程统统运行完毕，主线程才算运行完毕
#1 主进程在其代码结束后就已经算运行完毕了（守护进程在此时就被回收）,然后主进程会一直等非守护的子进程都运行完毕后回收子进程的资源(否则会产生僵尸进程)，才会结束， #2 主线程在其他非守护线程运行完毕后才算运行完毕（守护线程在此时就被回收）。因为主线程的结束意味着进程的结束，进程整体的资源都将被回收，而进程必须保证非守护线程都运行完毕后才能结束。
import time from threading import Thread def func1(n): while True: time.sleep(1) print('*守护线程执行中*',n+1) def func2(n): time.sleep(8) print('in func2',n) print('子线程代码执行完毕') t = Thread(target=func1,args=(2,)) t.daemon = True t.start() t1 = Thread(target=func2,args=(2,)) t1.start() print('主线程代码执行完毕')
8.5锁
import time from threading import Thread def func(): global n temp = n time.sleep(0.1) n = temp-1 n = 10 t_lis = [] for i in range(10): t = Thread(target=func) t.start() t_lis.append(t) [t.join()for t in t_lis] print(n) #9 执行了10个子线程去-1，减了10次，结果是9 因为timesleep 导致时间片的强转，所以造成 #多个线程同时调用到10,0.1,秒后，在同时对10 -1
import time from threading import Thread,Lock def func(lock): global n lock.acquire() temp = n time.sleep(0.1) n = temp-1 lock.release() n = 10 t_lis = [] lock = Lock() for i in range(10): t = Thread(target=func,args=(lock,)) t.start() t_lis.append(t) [t.join()for t in t_lis] print(n)
备注：互斥锁和join的区别：start后立即join，任务内的所有代码都是串行执行的,而加锁,只是加锁的部分即修改共享数据的部分是串行的 。单从保证数据安全方面,二者都可以实现,但很明显是加锁的效率更高。
死锁与递归锁
进程当中也有死锁和递归锁。所谓死锁： 是指两个或两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程称为死锁进程，如下就是死锁。
from threading import Lock as Lock import time mutexA=Lock() mutexA.acquire() mutexA.acquire() print(123) mutexA.release() mutexA.release()
解决方法，递归锁，在Python中为了支持在同一线程中多次请求同一资源，python提供了可重入锁RLock。
这个RLock内部维护着一个Lock和一个counter变量，counter记录了acquire的次数，从而使得资源可以被多次acquire。直到一个线程所有的acquire都被release，其他的线程才能获得资源。
递归锁：在同一进程或者同一线程中，无论acquire多少次，都不会发生阻塞（死锁现象）。
上面的例子如果使用RLock代替Lock，则不会发生死锁：
from threading import RLock as Lock import time mutexA=Lock() mutexA.acquire() mutexA.acquire() print(123) mutexA.release() mutexA.release()
典型问题：科学家吃面
import time from threading import Thread,Lock def eat(name): chopsticks_lock.acquire() print('%s拿到筷子'%name) noodle_lock.acquire() print('%s拿到了面' % name) print('吃到了面') noodle_lock.release() chopsticks_lock.release() def eat1(name): noodle_lock.acquire() print('%s拿到了面' % name) time.sleep(0.1) chopsticks_lock.acquire() print('%s拿到筷子' % name) print('吃到了面') chopsticks_lock.release() noodle_lock.release() chopsticks_lock = Lock() noodle_lock = Lock() t1 = Thread(target=eat,args=('rain',)) t1.start() t2 = Thread(target=eat1,args=('snow',)) t2.start() t3 = Thread(target=eat,args=('rain1',)) t3.start() t4 = Thread(target=eat1,args=('snow1',)) t4.start()
import time from threading import Thread,RLock def eat(name): chopsticks_lock.acquire() print('%s拿到筷子'%name) noodle_lock.acquire() print('%s拿到了面' % name) print('吃到了面') noodle_lock.release() chopsticks_lock.release() def eat1(name): noodle_lock.acquire() print('%s拿到了面' % name) time.sleep(0.1) chopsticks_lock.acquire() print('%s拿到筷子' % name) print('吃到了面') chopsticks_lock.release() noodle_lock.release() noodle_lock = chopsticks_lock = RLock() t1 = Thread(target=eat,args=('rain',)) t1.start() t2 = Thread(target=eat1,args=('snow',)) t2.start() t3 = Thread(target=eat,args=('rain1',)) t3.start() t4 = Thread(target=eat1,args=('snow1',)) t4.start()
备注：科学家吃面问题中，必须写成 chopsticks_lock = noodle_lock = RLock，而不能写成chopsticks_lock = RLock noodle——lock= RLock
8.6信号量
同进程的一样
Semaphore管理一个内置的计数器，每当调用acquire()时内置计数器-1；调用release() 时内置计数器+1；计数器不能小于0；当计数器为0时，acquire()将阻塞线程直到其他线程调用release()。
8.7事件
threading库中的Event对象。 对象包含一个可由线程设置的信号标志,它允许线程等待某些事件的发生。在 初始情况下,Event对象中的信号标志被设置为False。如果有线程等待一个Event对象, 而这个Event对象的标志为假,那么这个线程将会被一直阻塞直至该标志为真。一个线程如果将一个Event对象的信号标志设置为真,它将唤醒所有等待这个Event对象的线程。如果一个线程等待一个已经被设置为真的Event对象,那么它将忽略这个事件, 继续执行。
# event.is_set()：返回event的状态值； # event.wait()：如果 event.is_set()==False将阻塞线程；wait(n)可设置阻塞时间，默认为空，一直阻塞 # event.set()： 设置event的状态值为True，所有阻塞池的线程激活进入就绪状态， 等待操作系统调度； # event.clear()：恢复event的状态值为False。
例如，有多个工作线程尝试链接MySQL，我们想要在链接前确保MySQL服务正常才让那些工作线程去连接MySQL服务器，如果连接不成功，都会去尝试重新连接。那么我们就可以采用threading.Event机制来协调各个工作线程的连接操作
import time import random from threading import Thread,Event def check_web(event): #模拟检测网络状况 time.sleep(random.randint(0,3)) #模拟监测网络连接的时间 event.set() def connect_db(event): count = 0 #模拟连接次数 while count < 3: #模拟最多连接三次 event.wait(0.5) #每等待0.5秒往下执行一次 if event.is_set(): print('连接数据库成功') break else: count += 1 print('第%s次连接数据库失败'%count) else: raise TimeoutError('数据库连接超时') #模拟三次连接失败，直接报错 event = Event() Thread(target=check_web,args=(event,)).start() Thread(target=connect_db,args=(event,)).start()
8.8条件
条件定义：使得线程等待，只有满足某条件时，才释放n个线程
Python提供的Condition对象提供了对复杂线程同步问题的支持。Condition被称为条件变量，除了提供与Lock类似的acquire和release方法外，还提供了wait和notify方法。线程首先acquire一个条件变量，然后判断一些条件。如果条件不满足则wait；如果条件满足，进行一些处理改变条件后，通过notify方法通知其他线程，其他处于wait状态的线程接到通知后会重新判断条件。不断的重复这一过程，从而解决复杂的同步问题。
条件是更复杂的锁，条件模块中提供了四个方法：con.acquire()和con.release(),这是控制线程必备的，还有两个是 con.wait()和con.notify()。在一个条件被创建之初，默认有一个False的状态，这个False状态会影响wait，使得wait()一直处于等待状态。notify(n)里面接收一个int数据类型的参数，然后就执行n个线程。值得注意的是notify和wait必须在acquire和release之间。如果将notify比作造钥匙，将wait比作等钥匙，那么这里有一点很重要，那就是，这个钥匙不会归还。造一把，用一把。
from threading import Thread,Condition def func(con,i): con.acquire() con.wait() # 等钥匙 print('在第%s个循环里'%i) con.release() con = Condition() for i in range(10): Thread(target=func,args = (con,i)).start() while True: num = input('>>>') if num == 'q':break con.acquire() con.notify(int(num)) # 造钥匙 con.release() print('*********')
8.9定时器
定时器，指定n秒后执行某个操作
import time from threading import Timer def func(): print('时间同步') while True: Timer(5,func).start() #异步非阻塞的 time.sleep(5) #能够很准确的执行时间同步
线程队列
queue队列 ：使用import queue，用法与进程Queue一样，不需要从threading模块中导入。
queue is especially useful in threaded programming when information must be exchanged safely between multiple threads.
队列内置了很多锁，从而保证了数据安全。队列的创建q = queue.Queue()
import queue q =queue.Queue(1) #创建队列 括号中默认为空 表示队列不限长度 括号中可以设置队列长度 q.put(1) #放入队列 当队列放满时处于等待状态 q.put_nowait(2) #也是放入队列 只不过当队列放满时会报错 ret = q.get() #从队列中取值 当队列为空时处于等待状态 # ret1 = q.get_nowait() #从队列中取值 当队列为空时报错 #get_nowait 和 put_nowait 用于当我们不想等待时，报错我们可以用异常处理解决 Full 和 Empty
-
class
queue.Queue(maxsize=0) #先进先出
import queue q=queue.Queue() q.put('first') q.put('second') q.put('third') print(q.get()) print(q.get()) print(q.get()) ''' 结果(先进先出): first second third '''
class queue.LifoQueue(maxsize=0) #last in fisrt out #栈 先进后出
import queue q=queue.LifoQueue() q.put('first') q.put('second') q.put('third') print(q.get()) print(q.get()) print(q.get()) ''' 结果(后进先出): third second first '''
class queue.PriorityQueue(maxsize=0) #存储数据时可设置优先级的队列 put 一个元组 值越小优先级越高 可以是负数
import queue q=queue.PriorityQueue() #put进入一个元组,元组的第一个元素是优先级(通常是数字,也可以是非数字之间的比较),数字越小优先级越高 q.put((20,'a')) q.put((10,'b')) q.put((30,'c')) print(q.get()) print(q.get()) print(q.get()) ''' 结果(数字越小优先级越高,优先级高的优先出队): (10, 'b') (20, 'a') (30, 'c') ''' #当元组的第一个元素一样时 比较其在ascii码中的顺序，顺序越靠前优先级越高
import queue q = queue.Queue() q.join() block(阻塞)直到queue被消费完毕 Constructor for a priority queue. maxsize is an integer that sets the upperbound limit on the number of items that can be placed in the queue. Insertion will block once this size has been reached, until queue items are consumed. If maxsize is less than or equal to zero, the queue size is infinite. The lowest valued entries are retrieved first (the lowest valued entry is the one returned by sorted(list(entries))[0]). A typical pattern for entries is a tuple in the form: (priority_number, data). exception queue.Empty Exception raised when non-blocking get() (or get_nowait()) is called on a Queue object which is empty. exception queue.Full Exception raised when non-blocking put() (or put_nowait()) is called on a Queue object which is full. Queue.qsize() Queue.empty() #return True if empty Queue.full() # return True if full Queue.put(item, block=True, timeout=None) Put item into the queue. If optional args block is true and timeout is None (the default), block if necessary until a free slot is available. If timeout is a positive number, it blocks at most timeout seconds and raises the Full exception if no free slot was available within that time. Otherwise (block is false), put an item on the queue if a free slot is immediately available, else raise the Full exception (timeout is ignored in that case). Queue.put_nowait(item) Equivalent to put(item, False). Queue.get(block=True, timeout=None) Remove and return an item from the queue. If optional args block is true and timeout is None (the default), block if necessary until an item is available. If timeout is a positive number, it blocks at most timeout seconds and raises the Empty exception if no item was available within that time. Otherwise (block is false), return an item if one is immediately available, else raise the Empty exception (timeout is ignored in that case). Queue.get_nowait() Equivalent to get(False). Two methods are offered to support tracking whether enqueued tasks have been fully processed by daemon consumer threads. Queue.task_done() Indicate that a formerly enqueued task is complete. Used by queue consumer threads. For each get() used to fetch a task, a subsequent call to task_done() tells the queue that the processing on the task is complete. If a join() is currently blocking, it will resume when all items have been processed (meaning that a task_done() call was received for every item that had been put() into the queue). Raises a ValueError if called more times than there were items placed in the queue.
九、Python标准模块--concurrent.futures
https://docs.python.org/dev/library/concurrent.futures.html
#1 介绍 concurrent.futures模块提供了高度封装的异步调用接口 ThreadPoolExecutor：线程池，提供异步调用 ProcessPoolExecutor: 进程池，提供异步调用 Both implement the same interface, which is defined by the abstract Executor class. #2 基本方法 #submit(fn, *args, **kwargs) 异步提交任务 #map(func, *iterables, timeout=None, chunksize=1) 取代for循环submit的操作 #shutdown(wait=True) 相当于进程池的pool.close()+pool.join()操作 wait=True，等待池内所有任务执行完毕回收完资源后才继续 wait=False，立即返回，并不会等待池内的任务执行完毕 但不管wait参数为何值，整个程序都会等到所有任务执行完毕 submit和map必须在shutdown之前 #result(timeout=None) 取得结果 #add_done_callback(fn) 回调函数
import time from concurrent.futures import ThreadPoolExecutor def func(n): time.sleep(2) print(n) return n*n def call_back(m): print('结果是 %s'%m.result()) tpool = ThreadPoolExecutor(max_workers=5) # 默认 不要超过cpu个数*5 for i in range(20): tpool.submit(func,i).add_done_callback(call_back)
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor import os,time,random def task(n): print('%s is runing' %os.getpid()) time.sleep(random.randint(1,3)) return n**2 if __name__ == '__main__': executor=ThreadPoolExecutor(max_workers=3) # for i in range(11): # future=executor.submit(task,i) executor.map(task,range(1,12)) #map取代了for+submit #map方法取不到返回值
#介绍 The ProcessPoolExecutor class is an Executor subclass that uses a pool of processes to execute calls asynchronously. ProcessPoolExecutor uses the multiprocessing module, which allows it to side-step the Global Interpreter Lock but also means that only picklable objects can be executed and returned. class concurrent.futures.ProcessPoolExecutor(max_workers=None, mp_context=None) An Executor subclass that executes calls asynchronously using a pool of at most max_workers processes. If max_workers is None or not given, it will default to the number of processors on the machine. If max_workers is lower or equal to 0, then a ValueError will be raised. #用法 from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor import os,time,random def task(n): print('%s is runing' %os.getpid()) time.sleep(random.randint(1,3)) return n**2 if __name__ == '__main__': executor=ProcessPoolExecutor(max_workers=3) futures=[] for i in range(11): future=executor.submit(task,i) futures.append(future) executor.shutdown(True) print('+++>') for future in futures: print(future.result())
#介绍 ThreadPoolExecutor is an Executor subclass that uses a pool of threads to execute calls asynchronously. class concurrent.futures.ThreadPoolExecutor(max_workers=None, thread_name_prefix='') An Executor subclass that uses a pool of at most max_workers threads to execute calls asynchronously. Changed in version 3.5: If max_workers is None or not given, it will default to the number of processors on the machine, multiplied by 5, assuming that ThreadPoolExecutor is often used to overlap I/O instead of CPU work and the number of workers should be higher than the number of workers for ProcessPoolExecutor. New in version 3.6: The thread_name_prefix argument was added to allow users to control the threading.Thread names for worker threads created by the pool for easier debugging. #用法 与ProcessPoolExecutor相同
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor from multiprocessing import Pool import requests import json import os def get_page(url): print('<进程%s> get %s' %(os.getpid(),url)) respone=requests.get(url) if respone.status_code == 200: return {'url':url,'text':respone.text} def parse_page(res): res=res.result() print('<进程%s> parse %s' %(os.getpid(),res['url'])) parse_res='url:<%s> size:[%s]\n' %(res['url'],len(res['text'])) with open('db.txt','a') as f: f.write(parse_res) if __name__ == '__main__': urls=[ 'https://www.baidu.com', 'https://www.python.org', 'https://www.openstack.org', 'https://help.github.com/', 'http://www.sina.com.cn/' ] # p=Pool(3) # for url in urls: # p.apply_async(get_page,args=(url,),callback=pasrse_page) # p.close() # p.join() p=ProcessPoolExecutor(3) for url in urls: p.submit(get_page,url).add_done_callback(parse_page) #parse_page拿到的是一个future对象obj，需要用obj.result()拿到结果
扫一扫
2402
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
