Supervisor - 进程守护工具

Supervisor 简介

Supervisor  /ˈsuːpərvaɪzər/  监督人，[管理] 管理人；检查员 

​ Supervisor是一个进程管理工具，当进程中断的时候Supervisor能自动重新启动它。可以运行在各种类unix的机器上，supervisor就是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台守护进程，并监控进程状态，异常退出时能自动重启。

supervisord

​ 运行 Supervisor 时会启动一个进程 supervisord，它负责启动所管理的进程，并将所管理的进程作为自己的子进程来启动，而且可以在所管理的进程出现崩溃时自动重启。

supervisorctl

​ 是命令行管理工具，可以用来执行 stop、start、restart 等命令，来对这些子进程进行管理。

​ supervisor是所有进程的父进程，管理着启动的子进展，supervisor以子进程的PID来管理子进程，当子进程异常退出时supervisor可以收到相应的信号量。

安装Supervisor

安装python包管理工具

# 必须切换到root权限，才可以安装，如果已安装，可以忽略
sudo su
yum install python-setuptools

安装方法一

easy_install supervisor

安装方法二（我的安装方式）

wget https://pypi.python.org/packages/source/s/supervisor/supervisor-3.1.3.tar.gz
tar zxvf supervisor-3.1.3.tar.gz
cd supervisor-3.1.3
python setup.py install

安装过程中出现的问题

执行python setup.py install报错：

[root@qingbo supervisor-3.1.3]# python setup.py install
Traceback (most recent call last):
  File "setup.py", line 32, in <module>
    from setuptools import setup, find_packages
ImportError: No module named setuptools

参考文献

原因：Python默认是没有安装setuptools这个模块的，这也是一个第三方模块。

解决方法：

wget  https://bootstrap.pypa.io/ez_setup.py
# 这里要切换root权限才可以执行
sudo su
python ez_setup.py

之后再按照需求安装的命令：

python setup.py install 

配置Supervisor

查看是否安装成功

[root@qingbo xtyunweiljms]# python
Python 2.7.13 (default, Aug 27 2019, 16:40:17)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-23)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import supervisor
>>>

我们看到没有报错，说明已经安装成功了~

注意：网上搜索的说输入

echo_supervisord_conf 

命令，如果可以执行成功就说明安装成功；但是我这里貌似有问题，执行的结果如下：

[root@qingbo xtyunweiljms]# echo_supervisord_conf
bash: echo_supervisord_conf: command not found

但是不影响的supervisor的运行，待核实~

初始化配置文件

参考网上的方式有问题：

[root@solrc409 supervisor]# echo_supervisord_conf > /etc/supervisor/supervisord.conf
Traceback (most recent call last):
  File "/usr/bin/echo_supervisord_conf", line 5, in <module>
    from pkg_resources import load_entry_point
  File "build/bdist.linux-x86_64/egg/pkg_resources/__init__.py", line 3191, in <module>
  File "build/bdist.linux-x86_64/egg/pkg_resources/__init__.py", line 3175, in _call_aside
  File "build/bdist.linux-x86_64/egg/pkg_resources/__init__.py", line 3204, in _initialize_master_working_set
  File "build/bdist.linux-x86_64/egg/pkg_resources/__init__.py", line 585, in _build_master
  File "build/bdist.linux-x86_64/egg/pkg_resources/__init__.py", line 598, in _build_from_requirements
  File "build/bdist.linux-x86_64/egg/pkg_resources/__init__.py", line 786, in resolve
pkg_resources.DistributionNotFound: The 'supervisor==3.3.1' distribution was not found and is required by the application

另一种方式：

1. 创建supervisor启动所需要的配置文件路径以及加载的program；

   [xtyunweiljms@qingbo ~]$ cd /etc/
   # 配置文件supervisord.conf文件放在这个路径下
   [xtyunweiljms@qingbo etc]$ mkdir supervisor
   [xtyunweiljms@qingbo etc]$ cd supervisor
   # 所需要监控的程序conf文件放在config.d文件夹下
   [xtyunweiljms@qingbo supervisor]$ mkdir config.d
   
   

2. 拷贝一份样例配置至文件supervisord.conf中，样例的配置文件位于解压的supervisor-3.1.3/supervisor/skel路径下；

   [root@qingbo skel]# cp /data3/tools/supervisor-3.1.3/supervisor/skel/sample.conf /etc/supervisor/supervisord.conf
   
   

3. 编辑supervisord.conf文件

   ...
   
   # 如果需要开启web访问界面，则需要将前面的;注释去掉，如下：
   [inet_http_server]         ; inet (TCP) server disabled by default
   port=x.x.x.x:9001        ; (ip_address:port specifier, *:port for all iface)
   username=xxx              ; (default is no username (open server))
   password=xxxx               ; (default is no password (open server))
   
   ...
   
   # 不建议将所有需要监控的程序全部写在supervisord.conf中，可以通过include的方式，将每一个程序的conf文件引用进去，注意：这里的config.d文件夹需要手动创建（上面已经创建），如下：
   [include]
   files = /etc/supervisor/config.d/*.conf
   
   ...
   
   

配置文件详解

​ 注意：这里的;号为注释

; Sample supervisor config file.
;
; For more information on the config file, please see:
; http://supervisord.org/configuration.html
;
; Notes:
;  - Shell expansion ("~" or "$HOME") is not supported.  Environment
;    variables can be expanded using this syntax: "%(ENV_HOME)s".
;  - Quotes around values are not supported, except in the case of
;    the environment= options as shown below.
;  - Comments must have a leading space: "a=b ;comment" not "a=b;comment".
;  - Command will be truncated if it looks like a config file comment, e.g.
;    "command=bash -c 'foo ; bar'" will truncate to "command=bash -c 'foo ".

[unix_http_server]
file=/tmp/supervisor.sock   ; socket 文件路径
;chmod=0700                 ; socket 文件 模式 (默认 0700)
;chown=nobody:nogroup       ; socket file uid:gid owner
;username=user              ; 使用supervisorctl连接的用户
;password=123               ; 上条用户的密码

;[inet_http_server]         ; Web Server和远程的supervisorctl 配置块(默认关闭)
;port=127.0.0.1:9001        ; 监听的地址和端口
;username=user              ; 登录时用的用户
;password=123               ; 上条用户的密码

[supervisord]
logfile=/tmp/supervisord.log ; supervisord进程日志路径
logfile_maxbytes=50MB        ; supervisord进程日志的大小 当超过50M时，会生成一个新的日志( 0 表示不限制)
logfile_backups=10           ; 日志文件保持的数量，启动supervisor时 会自动创建10个buckup文件，用于log rotate ( 0 表示不限制)
loglevel=info                ; 日志级别
pidfile=/tmp/supervisord.pid ; supervisord的pid文件路径。
nodaemon=false               ; 如果是true，supervisord进程将在前台运行 默认为false(后台运行)
minfds=1024                  ; 这个是最少系统空闲的文件描述符，低于这个值supervisor将不会启动
minprocs=200                 ; 最小可用的进程描述符，低于这个值supervisor也将不会正常启动
;umask=022                   ; 进程创建文件的掩码 (默认 022)
;user=chrism                 ; 该参数指定的用户也可以对supervisord进行管理
;identifier=supervisor       ; supervisord的标识符
;directory=/tmp              ; 当supervisord以守护进程运行的时候，启动supervisord进程之前，会先切换到这个目录
;nocleanup=true              ; false的时候 supervisord进程启动的时候 会在把以前子进程产生的日志文件(路径为AUTO的情况下)清除掉(true不清除)
;childlogdir=/tmp            ; 当子进程日志路径为AUTO的时候，子进程日志文件的存放路径 (默认 $TMP)
;environment=KEY="value"     ; 这个是用来设置环境变量的，supervisord在linux中启动默认继承了linux的 环境变量，在这里可以设置supervisord进程特有的其他环境变量supervisord启动子进程时，子进程会拷贝父进程的内存空间内容。 所以设置的这些环境变量也会被子进程继承 (默认不设置)
;strip_ansi=false            ; 这个选项如果设置为true，会清除子进程日志中的所有ANSI(\n,\t) 序列

[rpcinterface:supervisor]    ; 这个选项是给XML_RPC用的，果想使用supervisord或者web server 必须要开启
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface


[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; supervisorctl本地连接supervisord，本地UNIX socket
;serverurl=http://127.0.0.1:9001 ; supervisorctl远程连接supervisord的时候，用到的地址和端口
;username=chris              ; 连接登录的用户名
;password=123                ; 密码
;prompt=mysupervisor         ; 输入用户名密码时候的提示符 默认:mysupervisor 
;history_file=~/.sc_history  ; 指定历史命令的文件


;[program:theprogramname]      ; 案例 [program:给要管理进程起的一个名字]
;command=/bin/cat              ; 要执行的进程 可带参数 $1 $2 $3  注意!! 执行的进程不能是守护进程 ! !
;process_name=%(program_name)s ; 进程名 下条numprocs参数为1，就不用管这个参数 默认值%(program_name)s也就是上面的那个program冒号后面的名字
;numprocs=1                    ; 启动进程的数目。当不为1时，就是进程池的概念，默认为1
;directory=/tmp                ; 进程运行前，会前切换到这个目录
;umask=022                     ; 进程掩码 (default None)
;priority=999                  ; 子进程启动关闭优先级，优先级低的，最先启动，关闭的时候最后关闭 (default 999)
;autostart=true                ; 设置为true 子进程将在supervisord启动后被自动启动
;startsecs=1                   ; 设置子进程启动多少秒之后，此时状态如果是running，则我们认为启动成功了
;startretries=3                ; 进程启动失败后，最大尝试启动的次数 当超过3次后，supervisor将把此进程的状态置为FAIL
;autorestart=unexpected        ; 设置子进程挂掉后自动重启的情况，有三个选项，false,unexpected和true。如果为false的时候，无论什么情况下，都不会被重新启动，如果为unexpected，只有当进程的退出码不在上面的exitcodes里面定义的退出码的时候，>才会被自动重启。当为true的时候，只要子进程挂掉，将会被无条件的重启
;exitcodes=0,2                 ; 注意和上面的的autorestart=unexpected对应 exitcodes里面的定义的退出码是expected的。
;stopsignal=QUIT               ; 进程停止信号，可以为TERM, HUP, INT, QUIT, KILL, USR1, or USR2等信号 默认为TERM 当用设定的信号去杀掉进程，退出码会被认为是expected
;stopwaitsecs=10               ; 这个是当我们向子进程发送stopsignal信号后，到系统返回信息给supervisord，所等待的最大时间。 超过这个时间，supervisord会向该子进程发送一个强制kill的信号(默认10秒)
;stopasgroup=false             ; 这个东西主要用于，supervisord管理的子进程，这个子进程本身还有子进程 那么我们如果仅仅干掉supervisord的子进程的话，子进程的子进程有可能会变成孤儿进程 所以咱们可以设置可个选项，把整个该子进程的整个进程组都干掉  设置为true的话，一般killasgroup也会被设置为true 该选项发送的是stop信号(def false)
;killasgroup=false             ; 这个和上面的stopasgroup类似，不过发送的是kill信号(def false)
;user=chrism                   ; 如果supervisord是root启动，我们在这里设置这个非root用户，可以用来管理该program 默认不设置
;redirect_stderr=true          ; 为true，则stderr的日志会被写入stdout日志文件中 (default false)
;stdout_logfile=/a/path        ; 子进程的stdout的日志路径，可以指定路径，AUTO，none等三个选项 设置为none的话，将没有日志产生。设置为AUTO的话，将随机找一个地方成日志文件，而且当supervisord重新启动的时候，以前的日志文件会被清空。当 redirect_stderr=true的时候，sterr也会写进这个日志文件
;stdout_logfile_maxbytes=1MB   ; 日志文件最大大小，和[supervisord]中定义的一样 (default 50MB)
;stdout_logfile_backups=10     ; 和[supervisord]定义的一样 (0 means none, default 10)
;stdout_capture_maxbytes=1MB   ; 这个东西是设定capture管道的大小，当值不为0的时候，子进程可以从stdout发送信息，而supervisor可以根据信息，发送相应的event  (default 0)
;stdout_events_enabled=false   ; 为ture的时候，当子进程由stdout向文件描述符中写日志的时候，将触发supervisord发送PROCESS_LOG_STDOUT类型的event(default false)
;stderr_logfile=/a/path        ; 设置stderr写的日志路径，当redirect_stderr=true。这个就不用设置了，设置了也是白搭。因为它会被写入stdout_logfile的同一个文件中 default AUTO(随便找个地存，supervisord重启被清空)
;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups=10     ; # of stderr logfile backups (0 means none, default 10)
;stderr_capture_maxbytes=1MB   ; number of bytes in 'capturemode' (default 0)
;stderr_events_enabled=false   ; emit events on stderr writes (default false)
;environment=A="1",B="2"       ; 这个是该子进程的环境变量，和别的子进程是不共享的
;serverurl=AUTO                ; override serverurl computation (childutils)


;[eventlistener:theeventlistenername] ;这个东西其实和program的地位是一样的，也是suopervisor启动的子进程，不过它干的活是订阅supervisord发送的event。他的名字就叫listener了。我们可以在listener里面做一系列处理，比如报警....
;command=/bin/eventlistener    ; 和上面的program一样，表示listener的可执行文件的路径
;process_name=%(program_name)s ; 这个也一样，进程名，当下面的numprocs为多个的时候，才需要。否则默认就OK了
;numprocs=1                    ; 相同的listener启动的个数
;events=EVENT                  ; event event事件的类型，也就是说，只有写在这个地方的事件类型。才会被发送
;buffer_size=10                ; event队列缓存大小 (default 10)
;directory=/tmp                ; 进程执行前，会切换到这个目录下执行 (def no cwd)
;umask=022                     ; umask for process (default None)
;priority=-1                   ; 启动优先级 (default -1)
;autostart=true                ; true supervisord启动一起启动 (default: true)
;startsecs=1                   ; 设置子进程启动多少秒之后，此时状态如果是running，则我们认为启动成功了 (def. 1)
;startretries=3                ; 失败最大尝试次数 (default 3)
;autorestart=unexpected        ; 和program一样 (def: unexpected)
;exitcodes=0,2                 ; 'expected' exit codes used with autorestart (default 0,2)
;stopsignal=QUIT               ; signal used to kill process (default TERM)
;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10)
;stopasgroup=false             ; send stop signal to the UNIX process group (default false)
;killasgroup=false             ; SIGKILL the UNIX process group (def false)
;user=chrism                   ; setuid to this UNIX account to run the program
;redirect_stderr=false         ; redirect_stderr=true is not allowed for eventlisteners
;stdout_logfile=/a/path        ; stdout log path, NONE for none; default AUTO
;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10     ; # of stdout logfile backups (0 means none, default 10)
;stdout_events_enabled=false   ; emit events on stdout writes (default false)
;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups=10     ; # of stderr logfile backups (0 means none, default 10)
;stderr_events_enabled=false   ; emit events on stderr writes (default false)
;environment=A="1",B="2"       ; process environment additions
;serverurl=AUTO                ; override serverurl computation (childutils)


;[group:thegroupname]          ; 这个东西就是给programs分组，划分到组里面的program。我们就不用一个一个去操作了 我们可以对组名进行统一的操作。 注意：program被划分到组里面之后，就相当于原来的配置从supervisor的配置文件里消失了supervisor只会对组进行管理，而不再会对组里面的单个program进行管理了
;programs=progname1,progname2  ; 组成员，用逗号分开
;priority=999                  ; 优先级，相对于组和组之间 (default 999)


;[include]                     ; 跟Nginx虚拟主机一个样
;files = relative/directory/*.ini

运行Supervisor

# 默认去找/etc/supervisord.conf的配置文件，如果不在默认路径下，则需要通过 -c 指定配置文件的路径
[root@qingbo supervisor]# supervisord -c /etc/supervisor/supervisord.conf 

查看是否运行起来了：

[root@qingbo supervisor]# ps -ef|grep supervisor
root      4439  8531  0 15:13 pts/0    00:00:00 grep supervisor
root     17622     1  0 12:20 ?        00:00:04 /usr/bin/python /usr/bin/supervisord -c /etc/supervisor/supervisord.conf

也可以通过查看日志：

[root@qingbo supervisor]# more /tmp/supervisord.log
2019-12-03 10:30:32,312 CRIT Supervisor running as root (no user in config file)
2019-12-03 10:30:32,352 INFO RPC interface 'supervisor' initialized
2019-12-03 10:30:32,352 CRIT Server 'unix_http_server' running without any HTTP authentication checking
2019-12-03 10:30:32,363 INFO daemonizing the supervisord process
2019-12-03 10:30:32,366 INFO supervisord started with pid 29888
2019-12-03 11:54:03,433 CRIT Supervisor running as root (no user in config file)
2019-12-03 11:54:04,358 INFO RPC interface 'supervisor' initialized
2019-12-03 11:54:04,368 INFO daemonizing the supervisord process
2019-12-03 11:54:04,369 INFO supervisord started with pid 4981
2019-12-03 11:58:48,458 CRIT Supervisor running as root (no user in config file)
2019-12-03 11:58:48,458 WARN No file matches via include "/etc/supervisor/config.d/*.ini"
2019-12-03 11:58:48,481 INFO RPC interface 'supervisor' initialized
2019-12-03 11:58:49,310 INFO RPC interface 'supervisor' initialized
2019-12-03 11:58:49,310 CRIT Server 'unix_http_server' running without any HTTP authentication checking
2019-12-03 11:58:49,315 INFO daemonizing the supervisord process
2019-12-03 11:58:49,319 INFO supervisord started with pid 7188
2019-12-03 12:20:13,487 CRIT Supervisor running as root (no user in config file)
2019-12-03 12:20:13,488 WARN No file matches via include "/etc/supervisor/config.d/*.ini"
2019-12-03 12:20:13,501 INFO RPC interface 'supervisor' initialized
2019-12-03 12:20:13,502 INFO RPC interface 'supervisor' initialized
2019-12-03 12:20:13,502 CRIT Server 'unix_http_server' running without any HTTP authentication checking
2019-12-03 12:20:13,504 INFO daemonizing the supervisord process
2019-12-03 12:20:13,506 INFO supervisord started with pid 17622

控制进程

注意：supervisor配置文件叫supervisord.conf，supervisord和supervisorctl共用一个配置文件，如果应用启动时，没有使用-c选项，应用会按照指定顺序寻找supervisord.conf文件：

$CWD/supervisord.conf
$CWD/etc/supervisord.conf
/etc/supervisord.conf
/etc/supervisor/supervisord.conf (since Supervisor 3.3.0)
../etc/supervisord.conf (Relative to the executable)
../supervisord.conf (Relative to the executable)

交互终端

前提：supervisord.conf在默认的路径下，否则需要手动通过 -c 参数加上集体的配置文件路径，目前我配置在 /etc/supervisord.conf ；另外，使用root用户重启

supervisord启动成功后，可以通过supervisorctl客户端控制进程，启动、停止、重启。运行supervisorctl命令，不加参数，会进入supervisor客户端的交互终端，并会列出当前所管理的所有进程。

[root@qingbo supervisor]# supervisorctl 
supervisor> help

default commands (type help <topic>):
=====================================
add    clear  fg        open  quit    remove  restart   start   stop  update
avail  exit   maintail  pid   reload  reread  shutdown  status  tail  version

supervisor> help stop
stop <name>             Stop a process
stop <gname>:*          Stop all processes in a group
stop <name> <name>      Stop multiple processes or groups
stop all                Stop all processes
supervisor>

bash终端

输入命令 supervisorctl 进入 supervisorctl 的 shell 交互界面（还是纯命令行），就可以在下面输入命令了：
supervisorctl help # 查看帮助
supervisorctl status # 查看程序状态
supervisorctl restart <application name> ;重启指定应用
supervisorctl stop <application name> ;停止指定应用
supervisorctl start <application name> ;启动指定应用
supervisorctl restart all ;重启所有应用
supervisorctl stop all ;停止所有应用
supervisorctl start all ;启动所有应用

# 修改了Supervisor ini文件或者conf文件配置后，需要更新服务
supervisorctl update # 更新supervisor的配置
supervisorctl reload # 重新加载项目到内存中

# 日志路径
tail -f /tmp/supervisord.log

Supervisorctl 使用非root用户执行

参考文献： https://drumcoder.co.uk/blog/2010/nov/24/running-supervisorctl-non-root/

修改/etc/supervisord.conf文件，详情如下：

[supervisorctl]
# 注释掉这个
;serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL  for a unix socket
# 以url替代这个，但是这样就是什么用户都可以启动了，不是很安全
serverurl=http://x.x.x.x:9001 ; use an http:// url to specify an inet socket

启动命令（我这里添加了权限验证）：

supervisorctl -u 用户名 -p 密码 restart 注册的服务名