openresty/nginx 配合consul、 upsync-module 实现upstream的动态更新

参考： consul集群搭建，配合nginx完成服务动态发现和健康检查

consul 命令： Consul之：key/value存储

consul启动命令[开发者模式启动]：

# 开发者模式
consul agent -dev -data-dir /data/tmp/consul -ui -client 0.0.0.0 &

# server模式，注意 bind的地址与 client的地址不能重复
consul agent -server -bootstrap-expect 1 -data-dir /data/tmp/consul -bind=192.168.0.115 -ui -client 127.0.0.1 &

 浏览器上打开consul: http://127.0.0.1:8500/ui/dc1/services

 添加key/value:

1. 添加key（folder）:   upstreams/tomcat_http_server/
2.  在 步骤1的基础上，添加服务节点， key: 192.168.0.115:8085   value:{"weight":1, "max_fails":2, "fail_timeout":10}，如图

           

consul如果用服务模式启动后，如果服务器局域网地址只有一个，那么 bind地址就要绑定为局域网地址，如192.168.0.1；而client地址不能与bind地址冲突，只能绑定为127.0.0.1，如果这时候局域网其他服务要调用该consul的接口，那么可以通过nginx转发的方式，在该服务器上用nginx进行转发，

       假设 查询key/value的接口为： http://127.0.0.1:8500/v1/kv/upstreams/tomcat_http_server/   

       nginx转发后，其他局域网用户查询key/value的接口为：http://192.168.0.1/v1/kv/upstreams/tomcat_http_server/   

       nginx配置如下：

server {
	listen       80;
	server_name  192.168.0.1;
	charset utf-8;


	#转发consul的client接口
	location / {
            proxy_pass http://consul;
    }
}

upstream consul {
     server  127.0.0.1:8500  weight=1;
}

 

注：如果只要实现动态更新 upstream，而不需要检测server 的可用性，那么以下 2、4步骤就不需要了，只要ngix-upsync-module模块就够了

1. 下载并解压 openresty

2. 下载：nginx_upstream_check_module  ，地址：https://github.com/yaoweibin/nginx_upstream_check_module

3. 下载：nginx-upsync-module ，地址：  https://github.com/weibocom/nginx-upsync-module

4. 打补丁：

patch -p1 < /path/to/nginx-upstream-check-module/check_1.12.1+.patch

  注意：check_1.12.1+.patch 这个地方，填写最新的（这么说是不太准确，我用的是openresty最新版，因此这里打补丁的时候，填写的事最新的 check_1.12.1），如图：

 

5. 编译：

# 以下编译只有 upsync-module 模块。
./configure --add-module=/path/to/nginx-upsync-module

gmake

#如果已经安装了nginx，那么不需要再执行以下命令，否则会覆盖掉nginx的配置文件
gmake install

6. nginx的配置文件

  

#限速模块
server {
	listen       80;
	server_name  192.168.199.128;
	charset utf-8;


	location / {
            proxy_pass http://test;
        }

}


upstream test {
   #连接consul数据中心 
   # 192.168.0.115:8500/v1/kv/ 是查询接口
   # upstreams/tomcat_http_server/ 是在consul上添加的key(叫key不准确， 应该是文件夹的意思，key是有value值得)
   # upsync_timeout 连接consul的超时时间
   upsync 192.168.0.115:8500/v1/kv/upstreams/tomcat_http_server/ upsync_timeout=6m upsync_interval=1000ms upsync_type=consul strong_dependency=off;
   # 从服务器更新到数据后的保存位置
   upsync_dump_path /data/tmp/nginx/conf/servers_test.conf;
   # servers_test.conf 存放consul数据中心更新的数据； 这个文件里面必须要有默认值：server 127.0.0.1 weight=1;
   include /data/tmp/nginx/conf/servers_test.conf;
}