0x00 Why
为何做这件事,在去年的一个项目中,算法同学要使用在线模型训练,不得不使用python的tf框架,这样我们不得不是python web框架,当时因为团队里面没人懂python相关的知识,只是简单的用tornado搭建的一个。但是在后期使用过程中,压测发现了tornado在低耗时的接口不够稳定,波动比较大。我们的接口一般20ms,但是经常波动到40ms,并发其实也不大。所以经历了痛苦过后,为了满足后续类似的场景,我们需要打造一款内部使用的python web框架,能够支持低耗时接口的稳定性,以及稍微性能强点。
0x01 How
基于以上的出发点,开始调研python web相关性能比较高的框架,看到了sanic。说是性能比较高。先看下sanic作者开发sanic的动机,是因为他看下了下面这篇文章:
是因为python3.4推出了asyncio,解决令人诟病的异步io性能问题,3.5后推出了uvloop,基于libuv,libuv是一个使用C语言实现的高性能异步I/O库,uvloop用来代替asyncio默认事件循环,可以进一步加快异步I/O操作的速度,而tornado在python3中还没有使用uvloop。
首先来看下uvloop的性能表现:
0x02 tornado vs sanic
口说无凭,直接压测看数据,我们同时构造两个框架的一个接口,接口里面没有任务逻辑,就是简单的返回一个helloworld,都是起一个进程,实测的数据
sanic:18000/s
tornado:5000/s
就框架本身而言,sanic确实性能高。然后我又对各个耗时阶段的接口进行压测,来判断不同耗时,两个框架的表现。
Sanic Sleep(ms)\Thread
1
10
50
100
1
1-3之间波动,波动范围为0%~300%,周期性的
1-6之间波动,波动范围为0%~600%,周期性的
1-11之间波动,波动范围为0%~1100%,周期性的
1-7之间波动,波动范围为0%~700%,周期性的
10
11-15之间波动,波动范围为10%~50%,周期性的
12-17之间波动,波动范围为20%~70%,周期性的
11-20之间波动,波动范围为10%~100%,周期性的
11-31之间波动,波动范围为10%~310%,周期性的
50
51-56,周期性的波动
54-60,周期性
54-71,周期性的
51-61,周期的
100
101-106之间波动,波动范围为1%~6%,周期性的
103-110之间波动,波动范围为3%~10%,周期性的
103-120之间波动,波动范围为3%~20%,周期性的
105-130之间波动,波动范围为5%~30%,周期性的
Tornado Sleep(ms)\Thread
1
10
50
100
1
2-4之间波动,波动范围为200%~400%,周期性的
6-11之间波动,波动范围为600%~1100%,周期性的
21-56之间波动,波动范围为2100%~5600%,周期性的
50-106之间波动,波动范围为5000%~10600%,周期性的
10
11-15之间波动,波动范围为110%~150%,周期性的
11-18之间波动,波动范围为110%~180%,周期性的
28-43之间波动,波动范围为280%~430%,周期性的
62-104之间波动,波动范围为620%~1040%,周期性的
50
52-57之间波动,周期性的
54-62,周期性的
51-80,周期性的
53-75,周期性的
100
101-108之间波动,波动范围为1%~8%,周期性的
101-111之间波动,波动范围为1%~11%,周期性的
101-111之间波动,波动范围为1%~11%,周期性的
101-140之间波动,波动范围为1%~40%,周期性的
result
sleep 1ms&100个线程压的情况
Sanic波动为1-7ms,而Tornado已经最低到50ms,最高飙到100多ms,显然在10ms以内的接口,并发超过50的,不适合使用Tornado,推荐使用Sanic,Sanic赢一局,Sanic1:0Tornado
sleep 10ms &100个线程压的情况
Sanic波动为11-31ms,而Tornado已经最低到62了,最高到100多毫秒,显然在100毫秒内,并发超过50的时候,还是Sanic更胜一筹,Sanic再赢一局,Sanic2:0Tornado
sleep 50ms&100个线程压的情况
Sanic波动为51-61,Tornado为53-73,两个框架之间差别不大,建议使用Sanic,Sanic3:0Tornado。
sleep 100ms & 100个线程压的情况
Sanic波动为105到130,Tornado波动为101-140,选择谁都可以。这次打个平手Sanic2:0Tornado
综上所述,sanic性能确实优于tornado。所以新框架采用sanic来开发。
0x04 框架设计
log库:传递logid和自我生成logid,且能支撑多进程,不丢日志的情况。
redis库:拥有连接池,
mysql库:拥有连接池。
python版本库管理要简单,易发布,易部署。
要有利用新框架新建项目,更新框架的工具,不用用户每次自己下载然后copy,改名。
基于以上的设计,调研了一下用到的库。
sanic
python3.7+
sanic最新版
redis
redis-py:官方推荐,配合hiredis-py会得到性能的极致提升。
mysql
pymysqlpool:mysql连接池,包装pymysql提供连接池的功能。
还可以使用pymysql+dbutils自己编写连接池的代码。
config
配置文件支持ini格式的,保持跟go的一样。
ConfigParser
官方使用py的配置文件,采用该方式更方便。
logging
日志库要有logid
sanic自带有log库,使用的就是python自带的基础库logging。
concurrent-log-handler只支持日志大小滚动,不支持时间滚动。
目前python最吃香的log库是loguru,我们也集成了,该库支持多线程,虽然不是进程安全的,但是也有方式支持多进程log。
需要对比下这两个库在sanic下性能,选择一个最优的。
logging(logging.handlers.TimedRotatingFileHandler多进程丢日志)
logging(concurrent-log-handler),带了进程锁以后严重影响了框架性能.
loguru
对于高qps的场景下,可以让其丢日志,使用普通的TimedRotatingFileHandler。对于qps要求低的场景,建议使用concurrent-log-handler保证多进程下日志不丢失。
python依赖包管理
python项目迁移
click构建命令行工具
利用click开发。一条命令就能新建一个新的项目,直接可运行。
框架性能
目前框架开发已经完成,内部已经发布了第一个版本,对该框架的性能也进行了一个压测。
sanic空逻辑性能测试(只返回一个json串)
1个线程压1个进程qps:6000
1个线程压2个进程qps:6600
2个线程压1个进程qps:10000
4个线程压1个进程qps:9600,单进程支持4个并发时出现瓶颈。
单进程处理能力比较强,建议优先单进程
2个线程压2个进程qps:11000
4个线程压4个进程qps:13000
8个线程压8个进程qps:14000
16个线程压8个进程qps:13000,瓶颈出现
sanic加入log测试(打印一条log到文件,多进程不丢日志,启用进程安全的log)
1个线程压1个进程qps:1500
1个线程压2个进程qps:1300
2个线程压1个进程qps:1900
4个线程压1个进程qps:2100,但是耗时已经上来了。
2个线程压2个进程qps:2000
4个线程压4个进程qps:2400,耗时已经增加许多,瓶颈
8个线程压8个进程qps:2600,耗时增加。
16个线程压8个进程qps:2800,耗时已经飙升了。
sanic加入log测试(打印一条log到文件,多进程丢日志,不启用进程安全的log)
1个线程压1个进程qps:3200
1个线程压2个进程qps:2200
2个线程压1个进程qps:4800
4个线程压1个进程qps:4800
2个线程压2个进程qps:4000
4个线程压4个进程qps:5200
8个线程压8个进程qps:4400
sanic加入redis性能测试
redis(set)操作,1个线程压1个进程qps:3700
redis(set)操作,1个线程压2个进程qps:3200,反而降低了。
redis(set)操作,2个线程压1个进程qps:4700
redis(set)操作,4个线程压1个进程qps:4600,单进程出现瓶颈。
redis(set)操作,2个线程压2个进程qps:5500
redis(set)操作,4个线程压4个进程qps:8100
redis(set)操作,8个线程压8个进程qps:8000,下降,瓶颈
redis(set)操作,16个线程压8个进程qps:8300,瓶颈
Redis稳定性较好,且增加线程或者进程呈线性增长,直到到达瓶颈。且尝试增加服务能力的时候,最好是起和并发量一样的进程数,不然来回切进程反而会降低qps。
压测结果分析
建议采用单进程,开启普通log,无包装多进程安全的log。
最后我们测试了下4个线程压一个进程,打印一条log(普通log),set一次redis的业务,qps:3200
在不要求日志不丢的,耗时可以放宽的情况下,可以提升进程数来提升性能。
0x05
虽然sanic框架性能很好,但是python自身的性能,以及python库的一些影响,仍然不能达到go的性能。但是应付一些中小型项目是可以了。后面持续优化,有机会开源出来。