flask+Gunicorn(gevent)高并发的解决方法探究

最新推荐文章于 2024-03-09 09:30:00 发布
最新推荐文章于 2024-03-09 09:30:00 发布
阅读量8.9k 收藏 31
点赞数 5
分类专栏： 业务 文章标签： GIL 多线程 Gunicorn 协程 Flask
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46072106/article/details/109708788
版权

1. 协程定义

概念：协程就是协同工作的程序，不是进程也不是线程 理解成–不带返回值的函数调用。

Coroutine：协程，又称微线程，纤程。 
协程的这种“挂起”和“唤醒”机制实质上是将一个过程切分成了若干个子过程，给了我们一种以扁平的方式来使用事件回调模型。优点：共享进程的上下文，一个进程可以创建百万，千万的coroutine。

python中的yield和第三方库greenlet，都可以实现协程。 
greenlet 提供了在协程中直接切换控制权的方式，比生成器(yield)更加灵活、简洁。

GIL–限制了python的多线程
即时通讯服务器 + 协程方式运行，提供并发性
服务器： 多进程 多线程 协程

Flask(框架)+Gunicorn(服务器)+(协程)高并发的解决方法探究

使用Flask的做服务器框架，可以: python code.py 的方式运行，但这种方式不能用于生产环境，不稳定，比如说: 有一定概率遇到连接超时无返回的情况—flask提供的简易测试服务器

1，通过设置app.run()的参数，来达到多进程的效果。看一下app.run的具体参数：

在这里插入图片描述

  • 注意： threaded与processes不能同时打开，如果同时设置的话，将会出现以下的错误：

在这里插入图片描述

2. 解决方案

2.1 方案一

  1. 使用gevent做协程，从而解决高并发的问题：

Flask + gevent

# 携程的第三方包-这里选择gevent, 当然你也可以选择eventlet
  pip install gevent
  
  
# 具体的代码如下：
from flask import Flask
from gevent.pywsgi import WSGIServer
from gevent import monkey

# 将python标准的io方法，都替换成gevent中同名的方法，遇到io阻塞gevent自动进行协程切换
monkey.patch_all()

# 1.创建项目应用对象app
app = Flask(__name__)

# 2.初始化服务器
WSGIServer(("127.0.0.1", 5000), app).serve_forever()


# 启动服务---这样就是以协程的方式运行项目，提高并发能力
 python code.py
  • 通过Gunicorn(with gevent)的形式对app进行包装，从而来启动服务【推荐】

Falsk + Gunicorn + gevent

安装遵循了WSGI协议的gunicorn服务器–俗称：绿色独角兽

  pip install gunicorn

查看命令行选项： 安装gunicorn成功后，通过命令行的方式可以查看gunicorn的使用信息。

$ gunicorn -h

在这里插入图片描述

指定进程和端口号： -w: 表示进程（worker） --bind：表示绑定ip地址和端口号（bind） —threads 多线程 -k 异步方案

# 使用gevent做异步（默认worker是同步的）    多进程+协程
gunicorn -w 8 --bind 0.0.0.0:8000 -k 'gevent' 运行文件名称:Flask程序实例名

# 使用gunicorn命令启动flask项目 
# -w 8 
	8个进程
# --bind 0.0.0.0:8000 
	ip + 端口
# -k 'gevent'
	协程

方案二

将运行的信息加载到配置文件中

使用gunicorn + gevent 开启高并发

新建配置py文件：gunicorn_config.py

# 多进程
import multiprocessing 

"""gunicorn+gevent 的配置文件"""


# 预加载资源
preload_app = True
# 绑定 ip + 端口
bind = "0.0.0.0:5000"
# 进程数 = cup数量 * 2 + 1
workers = multiprocessing.cpu_count() * 2 + 1

# 线程数 = cup数量 * 2 
threads = multiprocessing.cpu_count() * 2

# 等待队列最大长度,超过这个长度的链接将被拒绝连接
backlog = 2048

# 工作模式--协程
worker_class = "gevent"

# 最大客户客户端并发数量,对使用线程和协程的worker的工作有影响
# 服务器配置设置的值  1200：中小型项目  上万并发： 中大型
# 服务器硬件：宽带+数据库+内存
# 服务器的架构：集群 主从
worker_connections = 1200

# 进程名称
proc_name = 'gunicorn.pid'
# 进程pid记录文件
pidfile = 'app_run.log'
# 日志等级
loglevel = 'debug'
# 日志文件名
logfile = 'debug.log'
# 访问记录
accesslog = 'access.log'
# 访问记录格式
access_log_format = '%(h)s %(t)s %(U)s %(q)s'
  • 执行：gunicorn -c gunicorn_config.py flask_server:app

方案三

使用 meinheld + gunicorn + flask 开启高并发神器

前提在虚拟环境中安装meinheld:
  pip install meinheld

import multiprocessing

"""gunicorn+meinheld 的配置文件"""

# 预加载资源
preload_app = True
# 绑定
bind = "0.0.0.0:5000"
# 进程数: cup数量 * 2 + 1
workers = multiprocessing.cpu_count() * 2 + 1
# 线程数 cup数量 * 2
threads = multiprocessing.cpu_count() * 2
# 等待队列最大长度,超过这个长度的链接将被拒绝连接
backlog = 2048
# 工作模式
worker_class = "egg:meinheld#gunicorn_worker"

# 最大客户客户端并发数量,对使用线程和协程的worker的工作有影响
worker_connections = 1200

# 进程名称
proc_name = 'gunicorn.pid'
# 进程pid记录文件
pidfile = 'app_run.log'
# 日志等级
loglevel = 'debug'
# 日志文件名
logfile = 'debug.log'
# 访问记录
accesslog = 'access.log'
# 访问记录格式
access_log_format = '%(h)s %(t)s %(U)s %(q)s'


# 运行方式 命令行
gunicorn -c gunicorn_config.py flask_server:app

2. 历史遗留问题—GIL锁

2.1 简介

1.线程安全是在多线程的环境下，线程安全能够保证多个线程同时执行时程序依旧运行正确，而且要保证对于共享的数据，可以由多个线程存取，但是同一时刻只能有一个线程进行存取。每一个interpreter进程，只能同时仅有一个线程来执行，获得相关的锁，存取相关的资源。那么很容易就会发现，如果一个interpreter进程只能有一个线程来执行，多线程的并发则成为不可能，即使这几个线程之间不存在资源的竞争。

2.所以虽然 CPython的线程库直接封装操作系统的原生线程，但CPython进程做为一个整体同一时间只会有一个获得了GIL的线程在跑，其它的线程都处于等待状态等着 GIL的释放。所以只能使用cpu单核。这也是python多线程被人诟病的原因。

2.2 解决方案

python的高并发更加推荐多进程+协程

io多路复用

IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，它就通知该进程。

1. select（线程不安全）：它通过一个select()系统调用来监视多个文件描述符的数组，当select()返回后，该数组中就绪的文件描述符便会被内核修改标志位，使得进程可以获得这些文件描述符从而进行后续的读写操作。

2. poll（线程不安全）：它和select在本质上没有多大差别，但是poll没有最大文件描述符数量的限制 

3. epoll（线程安全）：epoll可以同时支持水平触发和边缘触发


Level_triggered(水平触发)：当被监控的文件描述符上有可读写事件发生时，epoll_wait()会通知处理程序去读写。如果这次没有把数据一次性全部读写完(如读写缓冲区太小)，那么下次调用 epoll_wait()时，它还会通知你在上没读写完的文件描述符上继续读写，当然如果你一直不去读写，它会一直通知你！！！如果系统中有大量你不需要读写的就绪文件描述符，而它们每次都会返回，这样会大大降低处理程序检索自己关心的就绪文件描述符的效率！！！

Edge_triggered(边缘触发)：当被监控的文件描述符上有可读写事件发生时，epoll_wait()会通知处理程序去读写。如果这次没有把数据全部读写完(如读写缓冲区太小)，那么下次调用epoll_wait()时，它不会通知你，也就是它只会通知你一次，直到该文件描述符上出现第二次可读写事件才会通知你！！！这种模式比水平触发效率高，系统不会充斥大量你不关心的就绪文件描述符！！！

阻塞IO：当你去读一个阻塞的文件描述符时，如果在该文件描述符上没有数据可读，那么它会一直阻塞(通俗一点就是一直卡在调用函数那里)，直到有数据可读。当你去写一个阻塞的文件描述符时，如果在该文件描述符上没有空间(通常是缓冲区)可写，那么它会一直阻塞，直到有空间可写。以上的读和写我们统一指在某个文件描述符进行的操作，不单单指真正的读数据，写数据，还包括接收连接accept()，发起连接connect()等操作...

非阻塞IO：当你去读写一个非阻塞的文件描述符时，不管可不可以读写，它都会立即返回，返回成功说明读写操作完成了，返回失败会设置相应errno状态码，根据这个errno可以进一步执行其他处理。它不会像阻塞IO那样，卡在那里不动！！！

python异步实现

多进程 + 协程 + callback（io多路复用做事件驱动）

3. 协程 第三方封装库:

  • gevent = greenlet + python.monkey（底层使用 libevent 时间复杂度： O(N * logN)）

  • meinheld = greenlet + picoev (时间复杂度： O(N) )

  • eventlet

picoev和libevent

meinheld和gevent都能实现异步，但是测评中meinheld比gevent的性能好很多，不过因为meinheld支持的比较少，一般都是配合gunicorn使用的。下面分析一下meinheld和gevent性能差距主要原因，分别使用的是picoev和lievent。

# libevent
主要实现：使用堆（优先队列）作为timer事件的算法（nlogn）,IO和信号的实现均使用了双向队列（用链表实现）。
时间复杂度： O(N * logN)

# picoev
picoev主要优化有两点。 
1. 主要是考虑是fd（file descriptors）在unix中是用比较小的正整数表示的，那么把fd的相关信息，全部存储在一个array中，这样使得查找快速，在操作socket状态时会更加的快。 

2. 第二点是对于timer事件的算法优化，通过环形缓冲区(128)和bit vector实现查看部分源码可以看出，主要实现是每个时间点对应的是缓冲区的一个位置，每个缓存区使用bit vector 表示fd的数值，相当于一种hash映射所以时间复杂度为(o(n))，n为那个缓存区所存的fd数量。

时间复杂度： O(N)

性能： picoev > libevent

理解----协程&线程&进程

在这里插入图片描述

2.思考：协程之前切换的场景?

程序发送阻塞的时候切换

  • 读磁盘
  • 读写文件
  • 网络io操作
  • 收发http请求
adamyoungjack
关注
  • 5
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
flask-gevent-tutorial：如何将Flask与gevent一起使用（uWSGI和Gunicorn版本）
02-05
如何将Flask与gevent一起使用（uWSGI和Gunicorn版本） 创建简单的Flask应用程序 首先，我们需要模拟一个慢速的第三方API： # slow_api/api.py import os import asyncio from aiohttp import web async def handle ( request ): delay = float ( request . query . get ( 'delay' ) or 1 ) await asyncio . sleep ( delay ) return web . Response ( te
【flask】适合生产环境的高并发部署方案（gunicorn + gevent + supervisor）
xiangxiang613的专栏
08-14 6152
历时两天，构建了基于python的微服务环境，该方案可用于生产环境，再搭配一个Nginx进行反向代理和负债均衡，可满足高并发需求。技术方案为：python + Flask + gunicorn + gevent + supervisor + Docker。
[1269]使用gunicorn部署flask项目
最新发布
周小董
03-09 1238
flask 自带的web服务器可用于开发环境运行调试，不适合部署在生产环境，无法满足线上的性能要求。当使用启动时，flask框架会有一段 WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.
Question-Answering-System:使用NLP + Flask + NLTK创建问答系统
05-26
问答系统 使用NLP + Flask + NLTK创建问答系统要求：- Python版本：3.8操作系统：Windows 使用的工具和技术：- (01 )nltk - pip install nltk (02) flask - pip install Flask (03) gunicorn - pip install gunicorn (04) unidecode - pip install Unidecode (05) wolframalpha - pip install wolframalpha (06) wikipedia - pip install wikipedia (07) gevent - pip install gevent (08) flask_bootstrap - pip install Fla
Flask并发之gevent模块（九）
z_ipython的博客
08-12 5269
并发 同时出发，不一定同时执行。 多进程 multiprocessing 异步并发 执行时间片，在效果上神似并发的效果， Threading Threading.Thread _thread 是threading模块的父类 Twisted(扭曲)框架，tornado框架的核心框架 并行 同时执行，不强调同时出发 多线程：讨论的是异步问题 协程：单线程，在单个线程内，自由的在两个不同函数...
高性能框架gevent和gunicorn在web上的应用及性能测试
weixin_34129145的博客
08-19 482
WSGI Server有哪些：比如 Flask，webpy，Django、CherryPy 都带着 WSGI server 。当然性能都不好，自带的web server 更多的是测试用途, 线上发布时，则使用高性能的 wsgi server或者是联合nginx做uwsgi 。诚如那个WSGI的定义所说的，协议定义了一套接口来实现服务器端与应用端通信的规范化（或者说是统一化）。这是怎样的一套接口呢？...
gunicorn与gevent对flask项目进行部署总结
submarineas的博客
05-21 7325
引言 Flask，webpy，Django都带着 WSGI server，当然性能都不好，自带的web server 更多的是测试用途。线上发布时，则使用高性能的 wsgi server或者是联合nginx做uwsgi 。 greenlet是一个轻量级的协程库。gevent是基于greenlet的网络库。 guincorn是支持wsgi协议的http server，gevent只是它支持的模式之...
在 Flask 应用中使用 gevent
u012285023的博客
09-22 1520
在 Flask 应用中使用 gevent 普通的 flask 应用 通常在用 python 开发 Flask web 应用时，使用 Flask 自带的调试模式能够给开发带来极大便利。Flask 自带的调试模式可以让我们在程序改动时自动重新加载我们的应用程序，而且 jinja2 的模板也会随着改动自动刷新。一般用法是： # app.py from flask import Flask app = Flask( __name__ ) @app.route( '/') def hello():
Python Flask使用gevent或grpc.gevent模块实现异步非阻塞
q2565330017的博客
04-01 1983
Flask本身并不是一个异步框架，因此在处理高并发请求时会出现性能瓶颈。然而，Flask可以通过与其他异步框架和库的集成来提高并发性能。所以下面会介绍gevent、gprc两种协程库，如何结合使用到Flask项目中，提高项目本身的并发性能。文中我会写份简单的接口代码，通过ab（Apache bench）工具进行请求压测，观察两个模块对Flask项目性能提升的情况。gevent是一个基于协程的Python网络编程库，它可以使编写异步代码变得更加简单和高效。
SpringBoot深度探究（一）模拟启动Tomcat
Smallc0de的博客
11-10 612
SpringBoot是目前最广泛的Web开发框架，其极度方便的开发特性得到市场的充分认可。这一系列的博客会进行一个详细的探讨，包括SpringBoot的原理模拟，SpringBoot源码解读，以及SpringBoot重要功能的官方文档的解读。俗话说了解一个组织就到打入这个组织内部，毕竟我就看一眼嘛。所以笔者会在Spring框架下，模拟一个SpringBoot的基本功能入手，然后在和SpringBoot的源码做对比，深度学习一下SpringBoot。
gunicorn 实现 gevent 多线程
weixin_30591551的博客
07-22 1383
# -*- coding:utf8 -*- # gunicorn 参数详情 https://blog.csdn.net/y472360651/article/details/78538188 from gevent import monkey import multiprocessing monkey.patch_all() # 监听本机的8888端口 bind = '0.0.0....
python开发，基于gunicorn+gevent+restful框架，标准的高并发flask项目，可用于高并发应用开发模板
06-23
python开发，基于gunicorn+gevent+restful框架，标准的高并发flask项目，可用于高并发应用开发模板 flask高并发标准项目框架 启动服务： gunicorn -c gun.py manage:app 新增接口方式： 1.app/_apis/firstApi....
课程作业基于Python+Flask框架开发的短网址程序源码+运行说明.zip
10-12
3. 包: gunicorn,gevent,flask,flask_cors,flask_frozen,pymysql. 4. 数据库: MySQL. 配置 查看config.py文件. 部署 # 手动 1. Windows: 运行wsgi.py文件. 2. Linux: 执行`gunicorn main:app -c gunicorn.py`命令....
chat：创建了一个简单的聊天应用，用于测试Redis，Gevent，Flask和服务器发送的事件
02-05
创建了一个原始的聊天应用程序以试验Flask，Redis，Gevent和...pip install flask redis gevent gunicorn 运行应用 start the redis server redis-server gunicorn --debug --worker-class=gevent -t 99999 app:app
RFM会员价值度模型
weixin_46072106的博客
12-14 3025
1. 简介 1.1 作用 会员价值度用来评估用户的价值情况，是区分会员价值的重要模型和参考依据，也是衡量不同营销效果的关键指标之一。 1.2 定义 价值度模型一般基于交易行为产生，衡量的是有实体转化价值的行为。常用的价值度模型是RFM RFM模型是根据会员 最近一次购买时间R（Recency） 购买频率F（Frequency） 购买金额M（Monetary）计算得出RFM得分 通过这3个维度来评估客户的订单活跃价值，常用来做客户分群或价值区分 RFM模型基于一个固定时间点来做模型分析，不同时间计算的
Celery异步任务
weixin_46072106的博客
11-07 1476
1. 简介 Celery 是一个异步任务队列。你可以使用它在你的应用上下文之外执行任务。总的想法就是你的应用程序可能需要执行任何消耗资源的任务都可以交给任务队列，让你的应用程序自由和快速地响应客户端请求。 使用 Celery 运行后台任务并不像在线程中这样做那么简单。但是好处多多，Celery 具有分布式架构，使你的应用易于扩展。 1.1 定义 Celery是一个基于Python开发的分布式异步消息任务队列，它非常易于使用。通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑
状态保持与身份认证
weixin_46072106的博客
10-20 1160
1、登录接口实现的业务逻辑 在整个登录接口实现中，除了检查用户名和密码以外，我们需要通过某种方式来记住用户身份（状态保持），还有用户认证。 2、状态保持（用户认证） 1、cookie cookie是一种技术 cookie弊端：1、明文；2、长度限制；3、浏览器端（客户端）不安全 2、 session session是一种机制 session机制优点：1、存储空几间大；2、服务器端（安全）； session机制缺点： 记录用户数据使用的session缓存必须“共享”，限制了集群服务器横向拓展； 数据
金融风控
weixin_46072106的博客
12-14 1053
一 金融风控相关业务介绍 学习目标 知道常见信贷风险 知道 知道信贷领域常用术语含义 1. 信贷简介 1.1 定义 信贷业务，就是贷款业务，是商业银行和互联网金融公司最重要的资产业务和主要赢利手段 通过放款收回本金和利息，扣除成本后获得利润。 贷款平台预测有信贷需求用户的还款情况，然后将本金借贷给还款概率大的用户 1.2 风险 信用风险：借款人的的还款能力和还款意愿在贷款后出现问题的风险 欺诈风险：借款人压根没想还钱，以诈骗为目的 2. 风控简介 2.1 定义 信贷业务中，使用信用来预支金
flask 如何实现高并发
09-18
在 Flask 中，可以通过一些方法来实现高并发： 1. 使用 Gunicorn 或 uWSGI 作为 WSGI 容器，可以将 Flask 应用部署到多个工作进程上，实现多进程并发处理请求。 2. 使用 Flask-SocketIO 可以将 Flask 应用扩展为 WebSocket 应用，可以通过它实现长连接和消息推送功能，从而实现高并发。 3. 使用 Flask-SQLAlchemy 可以将 Flask 应用与数据库进行集成，可以使用数据库连接池来实现高效的数据库访问，从而提高 Flask 应用的并发能力。 4. 使用 Flask-Cache 可以将 Flask 应用的某些响应结果进行缓存，从而避免重复计算，提升应用的并发能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值