Nginx 负载均衡upstream_check_module 健康检查

最新推荐文章于 2024-03-24 09:35:45 发布

富士康质检员张全蛋

最新推荐文章于 2024-03-24 09:35:45 发布

阅读量9.6k

点赞数 5

分类专栏： Nginx 文章标签： nginx

本文链接：https://blog.csdn.net/qq_34556414/article/details/106636710

版权

Nginx 专栏收录该内容

100 篇文章 22 订阅

订阅专栏

大家都知道，前端nginx做反向代理，如果后端服务器宕掉的话，nginx是不能把这台real server踢出upstream的，所以还会有请求转发到后端的这台real server上面去，虽然nginx可以在localtion中启用proxy_next_upstream来解决返回给用户的错误页面，但这个还是会把请求转发给这台服务器的，然后再转发给别的服务器，这样就浪费了一次转发，这次借助与淘宝技术团队开发的nginx模快nginx_upstream_check_module来检测后方realserver的健康状态，如果后端服务器不可用，则所以的请求不转发到这台服务器。

nginx_upstream_check_module模块

nginx_upstream_check_module 是专门提供负载均衡器内节点的健康检查的外部模块，由淘宝的姚伟斌大神开发，通过它可以用来检测后端 realserver 的健康状态。如果后端 realserver 不可用，则后面的请求就不会转发到该节点上，并持续检查几点的状态。在淘宝自己的 tengine 上是自带了该模块。项目地址：https://github.com/yaoweibin/nginx_upstream_check_module 。

在淘宝自己的 tengine 上是自带了该模块的，大家可以访问淘宝tengine的官网来获取该版本的nginx，官方地址：http://tengine.taobao.org/。

nginx后端健康检查

nginx自带健康检查的缺陷：

Nginx只有当有访问时后，才发起对后端节点探测。
如果本次请求中，节点正好出现故障，Nginx依然将请求转交给故障的节点,然后再转交给健康的节点处理。所以不会影响到这次请求的正常进行。但是会影响效率,因为多了一次转发
自带模块无法做到预警
被动健康检查

使用第三访模块nginx_upstream_check_module：

区别于nginx自带的非主动式的心跳检测，淘宝开发的tengine自带了一个提供主动式后端服务器心跳检测模块
若健康检查包类型为http，在开启健康检查功能后，nginx会根据设置的间隔向指定的后端服务器端口发送健康检查包，并根据期望的HTTP回复状态码来判断服务是否健康。
后端真实节点不可用，则请求不会转发到故障节点
故障节点恢复后，请求正常转发

nginx被动检查

Nginx自带有健康检查模块：ngx_http_upstream_module，可以做到基本的健康检查，配置如下：

upstream cluster{
    server 172.16.0.23:80  max_fails=1 fail_timeout=10s;
    server 172.16.0.24:80  max_fails=1 fail_timeout=10s;
　　 # max_fails=1和fail_timeout=10s 表示在单位周期为10s钟内，中达到1次连接失败，那么接将把节点标记为不可用，并等待下一个周期（同样时常为fail_timeout）再一次去请求，判断是否连接是否成功。
　　 # fail_timeout为10s,max_fails为1次。
}
server {
    listen 80;
    server_name xxxxxxx.com; 
    location / {
      proxy_pass         http://cluster;
    }
}

缺点：
Nginx只有当有访问时后，才发起对后端节点探测。如果本次请求中，节点正好出现故障，Nginx依然将请求转交给故障的节点,然后再转交给健康的节点处理。所以不会影响到这次请求的正常进行。但是会影响效率,因为多了一次转发,而且自带模块无法做到预警。

nginx主动检查

主动地健康检查，nignx定时主动地去ping后端的服务列表，当发现某服务出现异常时，把该服务从健康列表中移除，当发现某服务恢复时，又能够将该服务加回健康列表中。淘宝有一个开源的实现nginx_upstream_check_module模块

github地址：https://github.com/yaoweibin/nginx_upstream_check_module
taobao官网：http://tengine.taobao.org/document_cn/http_upstream_check_cn.html

安装nginx_upstream_check_module

安装扩展模块，需要编译安装的nginx，版本自己选择（我的是nginx version: nginx/1.16.1）

(1)获取安装包

[root@www src]# wget https://codeload.github.com/yaoweibin/nginx_upstream_check_module/zip/master
Saving to: ?.aster?

    [   <=>                                                   ] 175,413      277KB/s   in 0.6s   

2020-09-28 10:36:44 (277 KB/s) - ?.aster?.saved [175413]

(2)给nginx打个补丁

（master解压后的文件为nginx_upstream_check_module-master 里面包含了多个补丁版本，根据自己的nginx版本选择)

[root@www src]# unzip master 
[root@www src]# ls
debug          kernels  nginx-1.16.1         nginx_upstream_check_module-master
master   nginx-1.16.1.tar.gz

#进入nginx-1.16.1源码目录，进行打该模块的补丁（这一步千万不能遗漏）
[root@www nginx-1.16.1]# yum install patch-2.7.1-12.el7_7.x86_64 -y
[root@www nginx-1.16.1]# patch -p1 < /usr/src/nginx_upstream_check_module-master/check_1.16.1+.patch 
patching file src/http/modules/ngx_http_upstream_hash_module.c
patching file src/http/modules/ngx_http_upstream_ip_hash_module.c
patching file src/http/modules/ngx_http_upstream_least_conn_module.c
patching file src/http/ngx_http_upstream_round_robin.c
patching file src/http/ngx_http_upstream_round_robin.h

（3）编译安装

[root@www nginx-1.16.1]# /usr/local/nginx/sbin/nginx  -V
nginx version: nginx/1.16.1
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC) 
configure arguments: --prefix=/usr/local/nginx
[root@www nginx-1.16.1]# ./configure --prefix=/usr/local/nginx  --add-module=/usr/src/nginx_upstream_check_module-master/
checking for OS
 + Linux 3.10.0-693.el7.x86_64 x86_64
checking for C compiler ... found
 + using GNU C compiler
 + gcc version: 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC) 

[root@www nginx-1.16.1]# make && make install

[root@www nginx-1.16.1]# make upgrade
/usr/local/nginx/sbin/nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
kill -USR2 `cat /usr/local/nginx/logs/nginx.pid`
sleep 1
test -f /usr/local/nginx/logs/nginx.pid.oldbin
kill -QUIT `cat /usr/local/nginx/logs/nginx.pid.oldbin`

[root@www nginx-1.16.1]# /usr/local/nginx/sbin/nginx -V
nginx version: nginx/1.16.1
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC) 
configure arguments: --prefix=/usr/local/nginx --add-module=/usr/src/nginx_upstream_check_module-master/

nginx_upstream_check_module模块使用

服务治理的一个重要任务是感知服务节点变更，完成服务自动注册及异常节点的自动摘除。这就需要服务治理平台能够：及时、准确的感知service节点的健康状况。

方案概述

Nginx 提供了三种HTTP服务健康检查方案供用户选择：

TCP层默认检查方案：

定时与后端服务建立一条tcp连接，链接建立成功则认为服务节点是健康的。
HTTP层默认检查方案：

TCP层检查有一定的局限性：
1. 很多HTTP服务是带状态的，端口处于listen状态并不能代表服务已经完成预热；
2. 不能真实反映服务内部处理逻辑是否产生拥堵。
3. 这时可以选择http层健康检查，会向服务发送一个http请求GET / HTTP/1.0\r\n\r\n，返回状态是2xx或3xx时认为后端服务正常。
自定义方案：（nginx_upstream_check_module模块）

可根据下文描述自定义检查方案。

配置参数详解

一个常用的健康检查配置如下：

check fall=3 interval=3000 rise=2 timeout=2000 type=http;
check_http_expect_alive http_2xx http_3xx ;
check_http_send "GET /checkAlive HTTP/1.0\r\n\r\n" ;

下面针对每个配置参数，进行详细介绍。

check：

check 字段参数如下：

Syntax: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]Default: 如果没有配置参数，默认值是：interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp

check 字段各个参数含义如下：

interval：向后端发送的健康检查包的间隔，单位为毫秒。
fall(fall_count): 如果连续失败次数达到fall_count，服务器就被认为是down。
rise(rise_count): 如果连续成功次数达到rise_count，服务器就被认为是up。
timeout: 后端健康请求的超时时间。
default_down: 设定初始时服务器的状态，如果是true，就说明默认是down的，如果是false，就是up的。

默认值是true，也就是一开始服务器认为是不可用，要等健康检查包达到一定成功次数以后才会被认为是健康的。
type：健康检查包的类型，现在支持以下多种类型
- tcp：
  
  简单的tcp连接，如果连接成功，就说明后端正常。
- ssl_hello：
  
  发送一个初始的SSL hello包并接受服务器的SSL hello包。
- http：
  
  发送HTTP请求，通过后端的回复包的状态来判断后端是否存活。
- mysql: 向mysql服务器连接，通过接收服务器的greeting包来判断后端是否存活。
- ajp：
  
  向后端发送AJP协议的Cping包，通过接收Cpong包来判断后端是否存活。
- port: 指定后端服务器的检查端口。
  
  可以指定不同于真实服务的后端服务器的端口，比如后端提供的是443端口的应用，你可以去检查80端口的状态来判断后端健康状况。
  
  默认是0，表示跟后端server提供真实服务的端口一样。

check_http_expect_alive：

check_http_expect_alive 指定主动健康检查时HTTP回复的成功状态：

Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]
Default: http_2xx | http_3xx

check_http_send：

check_http_send 配置http健康检查包发送的请求内容

为了减少传输数据量，推荐采用”HEAD”方法。当采用长连接进行健康检查时，需在该指令中添加keep-alive请求头，如：”HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n”。同时，在采用”GET”方法的情况下，请求uri的size不宜过大，确保可以在1个interval内传输完成，否则会被健康检查模块视为后端服务器或网络异常。

Syntax: check_http_send http_packet
Default: "GET / HTTP/1.0\r\n\r\n"

完整示例

完整示例，如下：

http {    upstream cluster1 {
     # simple round-robin
     server 192.168.0.1:80;
     server 192.168.0.2:80;
     check interval=3000 rise=2 fall=5 timeout=1000 type=http;
     check_http_send "HEAD / HTTP/1.0\r\n\r\n";
     check_http_expect_alive http_2xx http_3xx;
   }    upstream cluster2 {
     # simple round-robin
     server 192.168.0.3:80;
     server 192.168.0.4:80;
     check interval=3000 rise=2 fall=5 timeout=1000 type=http;
     check_keepalive_requests 100;
     check_http_send "HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n";
     check_http_expect_alive http_2xx http_3xx;
  }    server { 
      listen 80;
      location /1 {
       proxy_pass http://cluster1;
      }      location /2 {
       proxy_pass http://cluster2;
      }     location /status {
       check_status;
       access_log   off;
       allow SOME.IP.ADD.RESS;
       deny all;
     }
   }
}

状态测试

[root@www ~]# /usr/local/tomcat/bin/shutdown.sh 
Using CATALINA_BASE:   /usr/local/tomcat
Using CATALINA_HOME:   /usr/local/tomcat
Using CATALINA_TMPDIR: /usr/local/tomcat/temp
Using JRE_HOME:        /usr/java/jdk1.8.0_131
Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar


[root@www ~]# tail -f /usr/local/nginx/logs/error.log 
2020/09/28 11:18:38 [notice] 8400#0: using inherited sockets from "6;"
2020/09/28 11:21:05 [notice] 8409#0: signal process started
2020/09/28 11:33:37 [notice] 8419#0: signal process started
2020/09/28 11:33:42 [error] 8420#0: enable check peer: 192.168.179.100:8080 
2020/09/28 11:51:23 [error] 8420#0: send() failed (111: Connection refused)
2020/09/28 11:51:26 [error] 8420#0: send() failed (111: Connection refused)
2020/09/28 11:51:29 [error] 8420#0: send() failed (111: Connection refused)
2020/09/28 11:51:32 [error] 8420#0: send() failed (111: Connection refused)
2020/09/28 11:51:35 [error] 8420#0: send() failed (111: Connection refused)
2020/09/28 11:51:35 [error] 8420#0: disable check peer: 192.168.179.100:8080

[root@www ~]# /usr/local/tomcat/bin/startup.sh 
Using CATALINA_BASE:   /usr/local/tomcat
Using CATALINA_HOME:   /usr/local/tomcat
Using CATALINA_TMPDIR: /usr/local/tomcat/temp
Using JRE_HOME:        /usr/java/jdk1.8.0_131
Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
Tomcat started.


2020/09/28 11:52:13 [error] 8420#0: check time out with peer: 192.168.179.100:8080 
2020/09/28 11:52:17 [error] 8420#0: check time out with peer: 192.168.179.100:8080 
2020/09/28 11:52:22 [error] 8420#0: check time out with peer: 192.168.179.100:8080 
2020/09/28 11:52:26 [error] 8420#0: check time out with peer: 192.168.179.100:8080 
2020/09/28 11:52:31 [error] 8420#0: check time out with peer: 192.168.179.100:8080 
2020/09/28 11:52:35 [error] 8420#0: check time out with peer: 192.168.179.100:8080 
2020/09/28 11:52:40 [error] 8420#0: check time out with peer: 192.168.179.100:8080 
2020/09/28 11:52:44 [error] 8420#0: check time out with peer: 192.168.179.100:8080 
2020/09/28 11:52:49 [error] 8420#0: check time out with peer: 192.168.179.100:8080 
2020/09/28 11:52:53 [error] 8420#0: check time out with peer: 192.168.179.100:8080 
2020/09/28 11:53:01 [error] 8420#0: enable check peer: 192.168.179.100:8080

富士康质检员张全蛋

关注

5
点赞
踩
18

收藏

觉得还不错? 一键收藏
1
评论
Nginx 负载均衡upstream_check_module 健康检查

大家都知道，前端nginx做反向代理，如果后端服务器宕掉的话，nginx是不能把这台real server踢出upstream的，所以还会有请求转发到后端的这台real server上面去，虽然nginx可以在localtion中启用proxy_next_upstream来解决返回给用户的错误页面，但这个还是会把请求转发给这台服务器的，然后再转发给别的服务器，这样就浪费了一次转发，这次借助与淘宝技术团队开发的nginx模快nginx_upstream_check_module来检测后方realserver的
复制链接

扫一扫