一看到多协程并发,我相信很多同学的第一个念头就是:头大。这玩意儿太难了,太复杂了,很难搞。然而,我要说的是:其实不然,它很容易使用,也很容易掌握。今天,我就来个复杂一点的需求,然后以很简单的方式解决这个问题,使用requests和gevent这两个神器和大家一起领略一下它的美妙。
gevent神器
提出需求
我有一个后端服务的接口,需要做一个有一定并发量的性能测试,每次请求的消耗时间要记录下来,并且最终我还需要求出所有耗时的平均值,进而对这个接口的性能进行一个综合评估,来决定它是否还需要优化。
看,这个需求是不是有点麻烦?事实上,使用Python做一个简单的测试,是很容易的。
性能测试
功能实现
神器在手,实现起来实在太简单。实现思路:
创建10个协程,每个协程发起网络请求的时候,把耗时时间记录下来,保存到一个list中,最后对list做一个求平均值的处理就好啦!
并发性能测试的功能实现
看,只有38行代码,是不是太简单了,而且还使用到了reduce这个高阶函数(我还发布了Python高阶函数的使用文章,欢迎关注哦~)
代码中有注释,很简单的,聪明的你肯定是一看就懂哦。
运行代码,得到如下结果:
多协程并发网络并发请求运行结果
这了验证我们的结果是靠谱的,我把这10个耗时复制到WPS表格中再算一遍:
性能测试分析
怎么样?没问题吧!
引用库功能说明
requests库是一个十分优秀的Python网络库,尤其是它对session和cookies有着十分完善的支持,因此如果你的接口需要登录,那就更容易了,先请求一下,然后使用带有登录session的requests实例再去并发请求即可,也很容易的。
s = requests.session()s.get(url, headers=self.page_header, timeout=(self.connection_timeout, self.read_timeout))
是不是也很容易?
gevent是一个性能很高、又很易于使用的协程库,它是基于libev和libuv实现,libev和libuv是基于事件驱动的高性能、跨平台的I/O库,性能十分优秀。gevent这个库解决了Python原生自带的各种asyncio等等使用的繁琐问题。前面图上已经有体现,几行代码就能完成很多个协和的调度和运行。
总得来说,gevent是专门为解决Python原生的线程并发问题而产生的,它以微线程greenlet为核心,使用了操作系统层面的epoll事件模型,实现了资源开销低、并发性能高,又提供了十分易用的API,真的是我们的福音啊
总结
其实传说中的高并发、协程,并没有我们想像的那么难,一个性能测试,随手就生成一张图表,也是很容易的。只要大家找对了“兵器”,就很容易啦