python flask gunnicorn多进程服务器部署_python gunicorn多进程-CSDN博客

本文链接：https://blog.csdn.net/m0_37192554/article/details/127204312

 apt-get install psmisc  （安装pstree)
 通过执行如下命令，可以获取Gunicorn进程树：
 pstree -ap|grep gunicorn

得到的结果如下|   |                       |-grep,14519 --color=auto gunicorn

|           `-gunicorn,28097 /usr/local/bin/gunicorn query_site.wsgi:application -c ...

|               |-gunicorn,14226 /usr/local/bin/gunicorn query_site.wsgi:application -c ...

|               |   |-{gunicorn},14229

|               |   |-{gunicorn},14230

|               |   |-{gunicorn},14231

|               |   |-{gunicorn},14232

|               |   |-{gunicorn},14233

|               |   |-{gunicorn},14234

|               |   |-{gunicorn},14236

|               |   |-{gunicorn},14237

|               |   |-{gunicorn},14238

|               |   |-{gunicorn},14239

|               |   |-{gunicorn},14240

|               |   |-{gunicorn},14241

|               |   |-{gunicorn},14242

|               |   |-{gunicorn},14243

|               |   `-{gunicorn},14244

2. 重启Gunicorn任务kill -HUP 14226

3. 退出Gunicorn任务kill -9 28097

gunicorn： 一般用来管理多个进程，有进程挂了gunicorn可以把它拉起来，防止服务器长时间停止服务，还可以动态调整 worker
的数量，请求多的时候增加 worker 的数量，请求少的时候减少，这就是它的主要优点。

但是，Nginx反向代理 + Flask + gunicorn 架构存在解决获取用户真实ip问题。gunicorn本身的日志记录无法获得真实IP，

gunicorn的-w是对应的启动服务的进程数：
对于机器学习模型来说，尤其是深度学习模型通常比较大，启动多个进程便是加载多次模型到内存中，此处必须要考虑服务器的显存，
否则会出现out of memory。例如：我们有一张显存为12G的卡，若是单个模型加载到显存内占用的显存空间为3G，
若设置-w为4(需要注意-w的数量是子进程的数量，并不包括主进程，因此-w为1，则实际有2个进程)，则此时刚好3G×5=15G，
此时变会出现内存溢出。所以再设置gunicorn的-w时需要考虑部署的环境问题。

安装

    pip install gunicorn
    gunicorn -h  # 查看使用的命令

gunicorn启动一个flask的应用程序

    # app.py  文件名字
    from flask import Flask  
    def create_app():
        app = Flask(__name__)
        return app
    app = create_app()  
    @app.route('/')
    def index():
        return 'hello world!' 
    if __name__ == '__main__':
        app.run()

在相关文件目录下，进行命令部署

    # 第一个app指的是app.py文件，第二个指的是flask应用的名字；
    gunicorn -w 4 -b 0.0.0.0:8000 app:app

参数含义

-c CONFIG    : CONFIG,配置文件的路径，通过配置文件启动；生产环境使用；
-b ADDRESS   : ADDRESS，ip加端口，绑定运行的主机；
-w INT, --workers INT：用于处理工作进程的数量，为正整数，默认为1；
-k STRTING, --worker-class STRTING：要使用的工作模式，默认为sync异步，可以下载eventlet和gevent并指定
--threads INT：处理请求的工作线程数，使用指定数量的线程运行每个worker。为正整数，默认为1。
--worker-connections INT：最大客户端并发数量，默认情况下这个值为1000。
--backlog int：未决连接的最大数量，即等待服务的客户的数量。默认2048个，一般不修改；
-p FILE, --pid FILE：设置pid文件的文件名，如果不设置将不会创建pid文件
--access-logfile FILE   ：  要写入的访问日志目录
--access-logformat STRING：要写入的访问日志格式
--error-logfile FILE, --log-file FILE  ：  要写入错误日志的文件目录。
--log-level LEVEL   ：   错误日志输出等级。
--limit-request-line INT   ：  HTTP请求头的行数的最大大小，此参数用于限制HTTP请求行的允许大小，默认情况下，这个值为4094。值是0~8190的数字。
--limit-request-fields INT   ：  限制HTTP请求中请求头字段的数量。此字段用于限制请求头字段的数量以防止DDOS攻击，默认情况下，这个值为100，这个值不能超过32768
--limit-request-field-size INT  ：  限制HTTP请求中请求头的大小，默认情况下这个值为8190字节。值是一个整数或者0，当该值为0时，表示将对请求头大小不做限制
-t INT, --timeout INT：超过这么多秒后工作将被杀掉，并重新启动。一般设定为30秒；
--daemon： 是否以守护进程启动，默认false；
--chdir： 在加载应用程序之前切换目录；
--graceful-timeout INT：默认情况下，这个值为30，在超时(从接收到重启信号开始)之后仍然活着的工作将被强行杀死；一般使用默认；
--keep-alive INT：在keep-alive连接上等待请求的秒数，默认情况下值为2。一般设定在1~5秒之间。
--reload：默认为False。此设置用于开发，每当应用程序发生更改时，都会导致工作重新启动。
--spew：打印服务器执行过的每一条语句，默认False。此选择为原子性的，即要么全部打印，要么全部不打印；
--check-config   ：显示现在的配置，默认值为False，即显示。
-e ENV, --env ENV： 设置环境变量；

配置文件启动方式

    # gunicorn.conf
    # 并行工作进程数
    workers = 4
    # 指定每个工作者的线程数
    threads = 2
    # 监听内网端口5000
    bind = '127.0.0.1:5000'
    # 设置守护进程,将进程交给supervisor管理默认false
    daemon = 'false'
    # 工作模式协程
    worker_class = 'gevent'
    # 设置最大并发量
    worker_connections = 2000
    # 设置进程文件目录
    pidfile = '/var/run/gunicorn.pid'
    # 设置访问日志和错误信息日志路径
    accesslog = '/var/log/gunicorn_acess.log'
    errorlog = '/var/log/gunicorn_error.log'
    # 设置日志记录水平
    loglevel = 'warning'

启动

    gunicorn -c gunicorn.conf app:app

常用的查看命令：

1: 查看gunicorn启动项目的主进程号：
    cat ./run/gunicorn.pid
2: 查看主进程之外的进程：
    ps -ef | grep 主进程号

windows 错误1
windows平台不支持gunicorn，gunicorn安装成功后，启动会出现 ‘ImportError: No module named _curses / fcntl’错误；需要下载fcntl.py文件；


>>> import sys
>>> print(sys.path)
找到gunicorn/util.py  打开会发现有import fcntl
新建下面的文件和文件夹 为 fcntl/fcntl.py 
不放在gunicorn/下面，放在同级目录下

https://stackoverflow.com/questions/1422368/fcntl-substitute-on-windows/25471508#25471508
在这里插入图片描述



def fcntl(fd, op, arg=0):
    return 0
        
def ioctl(fd, op, arg=0, mutable_flag=True):
    if mutable_flag:
        return 0
    else:
        return ""
    
def flock(fd, op):
    return
        
def lockf(fd, operation, length=0, start=0, whence=0):
    return

windows 错误2
ModuleNotFoundError: No module named ‘pwd’

参考
python之gunicorn的配置
 gunicorn: No module named ‘fcntl’
No module named ‘fcntl’

二、以上还是linux 运行可以

部署好了之后，运行，但是高并发请求过程中出现

--------------------------------------
C++ Traceback (most recent call last):
--------------------------------------
0   paddle::AnalysisPredictor::ZeroCopyRun()
1   paddle::framework::NaiveExecutor::Run()
2   paddle::framework::OperatorBase::Run(paddle::framework::Scope const&, paddle::platform::Place const&)
3   paddle::framework::OperatorWithKernel::RunImpl(paddle::framework::Scope const&, paddle::platform::Place const&) const
4   paddle::framework::OperatorWithKernel::RunImpl(paddle::framework::Scope const&, paddle::platform::Place const&, paddle::framework::RuntimeContext*) const
5   std::_Function_handler<void (paddle::framework::ExecutionContext const&), paddle::framework::OpKernelRegistrarFunctor<paddle::platform::CUDAPlace, false, 0ul, paddle::operators::CUDNNConvFusionOpKernel<float>, paddle::operators::CUDNNConvFusionOpKernel<double> >::operator()(char const*, char const*, int) const::{lambda(paddle::framework::ExecutionContext const&)#1}>::_M_invoke(std::_Any_data const&, paddle::framework::ExecutionContext const&)
6   

paddle::operators::CUDNNConvFusionOpKernel<float>::Compute(paddle::framework::ExecutionContext const&) const

----------------------
Error Message Summary:
----------------------
FatalError: `Process abort signal` is detected by the operating system.
  [TimeInfo: *** Aborted at 1665220726 (unix time) try "date -d @1665220726" if you are using GNU date ***]
  [SignalInfo: *** SIGABRT (@0x12ae) received by PID 5423 (TID 0x7f4c64956740) from PID 4782 ***]

参考，每种方式的作用

flask+Gunicorn(gevent)高并发的解决方法探究
 flask+gunicorn部署python并发服务

需要注意的事项，在falsk代码里不能再加
# from gevent.pywsgi import WSGIServer
# monkey.patch_all()