一、线程池和进程池shutdown
# 主线程等待所有任务执行完成
from concurrent.futures import ThreadPoolExecutor
import time
pool = ThreadPoolExecutor(3)
def task(name):
print('%s 开始'%name)
time.sleep(1)
print('%s 结束'%name)
if __name__ == '__main__':
for i in range(20):
pool.submit(task,'屌丝%s'%i)
# 放到for外面
pool.shutdown(wait = True) # 等待所有任务完成,并且把池关闭
# 问题:如果关了还能再提交任务嘛?
# 回答:不能再提交了
pool.submit(task,'sddddd')
print('主') # 立马执行,20个线程都执行完了,再执行
二、定时器
# 多长时间之后执行一个任务
from threading import Timer
def task(name):
print('我是大帅逼———%s'%name)
if __name__ == '__main__':
# t = Timer(2,task,kwargs = ('lqz',) # 本质是开两个线程,延迟一秒执行
t = Timer(2,task,kwargs = {'name':'lqz'}) # 本质是开两个线程,延迟一秒执行
t.start()
三、协程介绍
进程、线程、协程
协程是为了实现单线程下的并发,属性线程下
协程要解决的问题:保存状态+切换
yield:生成器,只要函数中有yield关键字,这个函数就是生成器,通过yield可以实现保存状态+切换
四、greenlet模块
from greenlet import greenlet
import time
# 遇到io不会切,初级模块,gevent模块基于它写的,处理io切换
def eat():
print('我吃了一口')
time.sleep(1)
# p.switch()
print('我又吃了一口')
# p.switch()
def play():
print('我玩了一会儿')
e.switch()
print('我又玩了一会')
if __name__ == '__main__':
e = greenlet(eat)
p = greenlet(play)
e.switch()
五、gevent模块
# 以后使用,这一句必须写
from gevent import monkey,monkey.patch_all()
import gevent,time
def eat(name):
print('%s 吃了一口'% name)
time.sleep(1)
print('%s 有吃了一口'% name)
def play(name):
print('%s 玩了一会儿'%name)
time.sleep(2)
print('%s 有玩了一会儿'%name)
if __name__ == '__main__':
ctim = time.time()
e = gevent.spawn(eat,'lqz')
p = gevent.spawn(play,'lqz')
e.join() # 等待e执行完成
p.join()
print('主')
print(time.time()-ctim) # 2.0165154933929443
六、单线程的套接字并发
七、asyncio
无论多线程和多进程,IO的调度更多取决于系统,而协程的方式,调度来自用户,用户可以在函数中yield一个状态。实现协程的不仅仅是asyncio,tornado和gevent都实现了类似的功能。
- event_loop事件循环:程序开启一个无限的循环,程序员会把一些函数注册到时间循环上。当满足事件发生的时候,调用相应的协程函数
- coroutine协程:写成对象,指一个使用async关键字定义的函数,它的调用不会立即执行函数,而是会返回一个协程对象,协程对象需要注册到时间循环,由事件循环调用
- task任务:一个协程对象就是一个原生可以挂起的函数,任务则是对协程进一步封装,其中包含任务的各种状态
- future:代表将来执行或没有执行的任务 的结果,他和task上没有本质的区别
- async/await关键字:python3.5用于定义协程的关键字,async定义一个协程,await用于挂起阻塞的异步调用接口
# 官方支持协程的库
import time,asyncio
# 把普通函数变成协程函数(3.5之前这么写)
@asyncio.coroutine
def task():
print('开始了')
yield from asyncio.sleep(1) # asyncio.sleep(1)模拟io
print('结束了')
loop = asyncio.get_event_loop() # 获取一个时间循环对象
# 协程函数加括号,并不会真正的去执行,他需要提交给loop,让loop循环去执行
# 协程函数列表
ctime = time.time()
t = [task(),task()]
loop.run_until__complete(asyncio.wait(t))
loop.close()
print(time.time()-ctime)
import time
import asyncio
from threading import current_thread
# 表示我是协程函数,等同于3.5之前的装饰器
async def task():
print('开始了')
print(current_thread().name)
await asyncio.sleep(3) # await等同于原来的yield from
print('结束了')
async def task2():
print('开始了')
print(current_thread().name)
await asyncio.sleep(2)
print('结束了')
loop = asynico.get_event_loop()
ctime = time.time()
t = [task(),task2()]
loop.run_until_complete(asyncio.wait(t))
loop.close()
print(time.time()-ctime)
七、io模型
重点:面试重点
- 内存分为内核缓冲区和用户缓冲区(网络下载的资源,硬盘加载的资源,先放到内核缓冲区-------》copy到应用程序的缓冲区,应用程序才能用这个数据
- io模型
- 阻塞(BIO)
- 非阻塞(NIO)
- io多路复用():
- windows支持:select(官方不提供redis的windows版本所以不支持epoll)
- linux支持:poll,epoll
- 异步io:
- 信号驱动io(理论:不在考虑范围内)
八、补充虚拟环境
- 解决不同项目以来的模块版本不同的问题
- pycharm中创建项目时选择
- 这个虚拟环境可不可以给其他项目使用(取决你是否选择)
- 基于系统解释器当前状态还是纯净状态来创建虚拟环境
- 装模块
- cmd窗口下:pip3 install flask(装在哪个下一定要确认好)
- 推荐用pycharm:setting ----》那一套
- pycharm 下的terminal夏装(相当于cmd),比cmd好在,他有个提示
- 现在用了虚拟环境如何换到系统环境
- 环境变量的作用
- 把一个路径加到环境变量,以后该路径下的命令,可以在任意位置执行