gevent实现python并发api接口

14 篇文章 1 订阅

公司之前算法对外提供服务都是通过flask框架生成的api接口的形式,而最近项目中需要提高算法api接口的并发性能,通过分析flask对外api接口发现,该api接口是串行的方式,也即阻塞的形式进行数据处理的(前一条数据处理完成,才会进入下一条数据的处理)。因此,将flask提供api接口改为gevent,改用gevent后,算法接口在并发性能上提升效果明显,下面简要记录一下,做个笔记。

测试工具JMeter

本文采用jmeter测试工具对算法接口性能进行测试。JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试,它最初被设计用于Web应用测试,但后来扩展到其他测试领域。

JMeter的安装:https://blog.csdn.net/Jenny_He/article/details/88926605

利用JMeter测试基于flask接口和基于gevent接口的性能时,其线程组的设置如下图所示,设置100个线程(模拟100次接口调用), 准备时长(Ramp-Up)设置为1秒。

线程组各参数的含义可参考:https://blog.csdn.net/u012111923/article/details/80705141

算法接口参数设置如下图所示 

基于flask的api接口

测试代码如下

# -*- coding: utf-8 -*-
# @Time        : 2019/4/2 10:16
# @Author      : tianyunzqs
# @Description :

import os
import sys
import logging as logger
import traceback

from flask import Flask, request, json
from flask_cors import CORS

package_path = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(package_path)
from dev_v6.xj_common import text_extract_api

app = Flask(__name__)
CORS(app)


@app.route('/xj_hsyp_common', methods=['GET', 'POST'])
def api_xj_common():
    try:
        data = request.form['data']
        if data:
            logger.info("输入:")
            logger.info(str(data))
            result = {"success": "true", "result": text_extract_api(text=data)}
        else:
            result = {"success": "false", "result": "输入错误。"}
        logger.info("输出: ")
        logger.info(str(result))
        return json.dumps(result, ensure_ascii=False)
    except:
        logger.error(traceback.format_exc())
        return json.dumps({"success": "false", "result": "程序异常"}, ensure_ascii=False)


if __name__ == '__main__':
    app.run(host='0.0.0.0', port=3009, threaded=True)

 jmeter测试产生的结果分析如下图所示

从上图可看出,基于flask的算法接口的吞吐量为1.3/sec,而且接口的处理方式阻塞型的 。

基于gevent的api接口

安装gevent

gevent是python的第三方库,提供了比较完善的对协程的支持。它用到Greenlet提供的,封装了libevent事件循环的高层同步API。它让开发者在不改变编程习惯的同时,用同步的方式写异步I/O的代码。

gevent的相关介绍:https://www.jianshu.com/p/861f29ac68e8

Windows安装

在线安装

pip install gevent

离线安装

https://www.lfd.uci.edu/~gohlke/pythonlibs/下载以下whl文件,先安装gevent的几个依赖包(cffi、greenlet、pycparser),最后安装gevent,安装命令:

pip install *.whl

​Linux安装

在线安装

pip install gevent

离线安装

下载依赖包greenlet:

https://files.pythonhosted.org/packages/2e/65/27f35497cc0102a792390d056e793e064da95fc9eae45d75ae0ba49c0a0d/greenlet-0.4.15-cp35-cp35m-manylinux1_x86_64.whl

下载完成后运行:

pip install greenlet-0.4.15-cp35-cp35m-manylinux1_x86_64.whl

下载gevent:

https://files.pythonhosted.org/packages/95/d2/f2f454b00fde1608f6f4889c8cc3e12b5000f26cd5c3e11b5427c7781de9/gevent-1.4.0-cp35-cp35m-manylinux1_x86_64.whl

下载完成后运行:

pip install gevent-1.4.0-cp35-cp35m-manylinux1_x86_64.whl

 性能测试

测试代码:

# -*- coding: utf-8 -*-
# @Time        : 2019/4/2 10:16
# @Author      : tianyunzqs
# @Description :

import os
import sys
import logging as logger
import traceback
import configparser

from gevent import monkey
from gevent.pywsgi import WSGIServer
monkey.patch_all()
from flask import Flask, request, json
from flask_cors import CORS

package_path = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(package_path)
from dev_v6.xj_common import text_extract_api

app = Flask(__name__)
CORS(app)


@app.route('/xj_hsyp_common', methods=['GET', 'POST'])
def api_xj_common():
    try:
        data = request.form['data']
        if data:
            logger.info("输入:")
            logger.info(str(data))
            result = {"success": "true", "result": text_extract_api(text=data)}
        else:
            result = {"success": "false", "result": "输入错误。"}
        logger.info("输出: ")
        logger.info(str(result))
        return json.dumps(result, ensure_ascii=False)
    except:
        logger.error(traceback.format_exc())
        return json.dumps({"success": "false", "result": "程序异常"}, ensure_ascii=False)


if __name__ == '__main__':
    http_server = WSGIServer(('', 3009)), app)
    http_server.serve_forever()

 jmeter测试产生的结果分析如下图所示 

 

从上图可看出,接口的吞吐量提升到了2.9/sec,而且接口的处理方式非阻塞型的。

对比测试结果发现,使用gevent后接口的性能明显提升;而且接口由原来的串行方式变为并行方式,真正提高了接口的并发处理能力。

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值