apt-get install psmisc (安装pstree)
通过执行如下命令,可以获取Gunicorn进程树:
pstree -ap|grep gunicorn
得到的结果如下| | |-grep,14519 --color=auto gunicorn
| `-gunicorn,28097 /usr/local/bin/gunicorn query_site.wsgi:application -c ...
| |-gunicorn,14226 /usr/local/bin/gunicorn query_site.wsgi:application -c ...
| | |-{gunicorn},14229
| | |-{gunicorn},14230
| | |-{gunicorn},14231
| | |-{gunicorn},14232
| | |-{gunicorn},14233
| | |-{gunicorn},14234
| | |-{gunicorn},14236
| | |-{gunicorn},14237
| | |-{gunicorn},14238
| | |-{gunicorn},14239
| | |-{gunicorn},14240
| | |-{gunicorn},14241
| | |-{gunicorn},14242
| | |-{gunicorn},14243
| | `-{gunicorn},14244
2. 重启Gunicorn任务kill -HUP 14226
3. 退出Gunicorn任务kill -9 28097
gunicorn: 一般用来管理多个进程,有进程挂了gunicorn可以把它拉起来,防止服务器长时间停止服务,还可以动态调整 worker
的数量,请求多的时候增加 worker 的数量,请求少的时候减少,这就是它的主要优点。
但是,Nginx反向代理 + Flask + gunicorn 架构存在解决获取用户真实ip问题。gunicorn本身的日志记录无法获得真实IP,
gunicorn的-w是对应的启动服务的进程数:
对于机器学习模型来说,尤其是深度学习模型通常比较大,启动多个进程便是加载多次模型到内存中,此处必须要考虑服务器的显存,
否则会出现out of memory。例如:我们有一张显存为12G的卡,若是单个模型加载到显存内占用的显存空间为3G,
若设置-w为4(需要注意-w的数量是子进程的数量,并不包括主进程,因此-w为1,则实际有2个进程),则此时刚好3G×5=15G,
此时变会出现内存溢出。所以再设置gunicorn的-w时需要考虑部署的环境问题。
安装
pip install gunicorn
gunicorn -h # 查看使用的命令
gunicorn启动一个flask的应用程序
# app.py 文件名字
from flask import Flask
def create_app():
app = Flask(__name__)
return app
app = create_app()
@app.route('/')
def index():
return 'hello world!'
if __name__ == '__main__':
app.run()
在相关文件目录下,进行命令部署
# 第一个app指的是app.py文件,第二个指的是flask应用的名字;
gunicorn -w 4 -b 0.0.0.0:8000 app:app
参数含义
-c CONFIG : CONFIG,配置文件的路径,通过配置文件启动;生产环境使用;
-b ADDRESS : ADDRESS,ip加端口,绑定运行的主机;
-w INT, --workers INT:用于处理工作进程的数量,为正整数,默认为1;
-k STRTING, --worker-class STRTING:要使用的工作模式,默认为sync异步,可以下载eventlet和gevent并指定
--threads INT:处理请求的工作线程数,使用指定数量的线程运行每个worker。为正整数,默认为1。
--worker-connections INT:最大客户端并发数量,默认情况下这个值为1000。
--backlog int:未决连接的最大数量,即等待服务的客户的数量。默认2048个,一般不修改;
-p FILE, --pid FILE:设置pid文件的文件名,如果不设置将不会创建pid文件
--access-logfile FILE : 要写入的访问日志目录
--access-logformat STRING:要写入的访问日志格式
--error-logfile FILE, --log-file FILE : 要写入错误日志的文件目录。
--log-level LEVEL : 错误日志输出等级。
--limit-request-line INT : HTTP请求头的行数的最大大小,此参数用于限制HTTP请求行的允许大小,默认情况下,这个值为4094。值是0~8190的数字。
--limit-request-fields INT : 限制HTTP请求中请求头字段的数量。此字段用于限制请求头字段的数量以防止DDOS攻击,默认情况下,这个值为100,这个值不能超过32768
--limit-request-field-size INT : 限制HTTP请求中请求头的大小,默认情况下这个值为8190字节。值是一个整数或者0,当该值为0时,表示将对请求头大小不做限制
-t INT, --timeout INT:超过这么多秒后工作将被杀掉,并重新启动。一般设定为30秒;
--daemon: 是否以守护进程启动,默认false;
--chdir: 在加载应用程序之前切换目录;
--graceful-timeout INT:默认情况下,这个值为30,在超时(从接收到重启信号开始)之后仍然活着的工作将被强行杀死;一般使用默认;
--keep-alive INT:在keep-alive连接上等待请求的秒数,默认情况下值为2。一般设定在1~5秒之间。
--reload:默认为False。此设置用于开发,每当应用程序发生更改时,都会导致工作重新启动。
--spew:打印服务器执行过的每一条语句,默认False。此选择为原子性的,即要么全部打印,要么全部不打印;
--check-config :显示现在的配置,默认值为False,即显示。
-e ENV, --env ENV: 设置环境变量;
配置文件启动方式
# gunicorn.conf
# 并行工作进程数
workers = 4
# 指定每个工作者的线程数
threads = 2
# 监听内网端口5000
bind = '127.0.0.1:5000'
# 设置守护进程,将进程交给supervisor管理默认false
daemon = 'false'
# 工作模式协程
worker_class = 'gevent'
# 设置最大并发量
worker_connections = 2000
# 设置进程文件目录
pidfile = '/var/run/gunicorn.pid'
# 设置访问日志和错误信息日志路径
accesslog = '/var/log/gunicorn_acess.log'
errorlog = '/var/log/gunicorn_error.log'
# 设置日志记录水平
loglevel = 'warning'
启动
gunicorn -c gunicorn.conf app:app
常用的查看命令:
1: 查看gunicorn启动项目的主进程号:
cat ./run/gunicorn.pid
2: 查看主进程之外的进程:
ps -ef | grep 主进程号
windows 错误1
windows平台不支持gunicorn,gunicorn安装成功后,启动会出现 ‘ImportError: No module named _curses / fcntl’错误;需要下载fcntl.py文件;
>>> import sys
>>> print(sys.path)
找到gunicorn/util.py 打开会发现有import fcntl
新建下面的文件和文件夹 为 fcntl/fcntl.py
不放在gunicorn/下面,放在同级目录下
https://stackoverflow.com/questions/1422368/fcntl-substitute-on-windows/25471508#25471508
def fcntl(fd, op, arg=0):
return 0
def ioctl(fd, op, arg=0, mutable_flag=True):
if mutable_flag:
return 0
else:
return ""
def flock(fd, op):
return
def lockf(fd, operation, length=0, start=0, whence=0):
return
windows 错误2
ModuleNotFoundError: No module named ‘pwd’
参考
python之gunicorn的配置
gunicorn: No module named ‘fcntl’
No module named ‘fcntl’
二、以上还是linux 运行可以
部署好了之后,运行,但是高并发请求过程中出现
--------------------------------------
C++ Traceback (most recent call last):
--------------------------------------
0 paddle::AnalysisPredictor::ZeroCopyRun()
1 paddle::framework::NaiveExecutor::Run()
2 paddle::framework::OperatorBase::Run(paddle::framework::Scope const&, paddle::platform::Place const&)
3 paddle::framework::OperatorWithKernel::RunImpl(paddle::framework::Scope const&, paddle::platform::Place const&) const
4 paddle::framework::OperatorWithKernel::RunImpl(paddle::framework::Scope const&, paddle::platform::Place const&, paddle::framework::RuntimeContext*) const
5 std::_Function_handler<void (paddle::framework::ExecutionContext const&), paddle::framework::OpKernelRegistrarFunctor<paddle::platform::CUDAPlace, false, 0ul, paddle::operators::CUDNNConvFusionOpKernel<float>, paddle::operators::CUDNNConvFusionOpKernel<double> >::operator()(char const*, char const*, int) const::{lambda(paddle::framework::ExecutionContext const&)#1}>::_M_invoke(std::_Any_data const&, paddle::framework::ExecutionContext const&)
6
paddle::operators::CUDNNConvFusionOpKernel<float>::Compute(paddle::framework::ExecutionContext const&) const
----------------------
Error Message Summary:
----------------------
FatalError: `Process abort signal` is detected by the operating system.
[TimeInfo: *** Aborted at 1665220726 (unix time) try "date -d @1665220726" if you are using GNU date ***]
[SignalInfo: *** SIGABRT (@0x12ae) received by PID 5423 (TID 0x7f4c64956740) from PID 4782 ***]
参考,每种方式的作用
需要注意的事项,在falsk代码里不能再加
# from gevent.pywsgi import WSGIServer
# monkey.patch_all()