Nginx配之负载均衡、缓存、黑名单和灰度发布

一、Nginx安装（基于CentOS 6.5）

1.yum命令安装

yum install nginx –y
(若不能安装，执行命令yum install epel-release)

2. 启动、停止和重启

service nginx start
service nginx stop
service nginx restart
浏览器中 输入服务器的 ip 地址，即可看到相应信息

3. 其他信息

rpm -ql nginx 来查看安装路径
yum remove nginx 来卸载 
nginx -s reload 配置热更新 

二、Nginx负载均衡配置（/etc/nginx/nginx.conf）

1. 负载均衡配置

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

http {         ……      upstream real_server {         server 192.168.103.100:2001 weight=1;  #轮询服务器和访问权重         server 192.168.103.100:2002 weight=2;      }        server {          listen  80;            location / {              proxy_pass http: //real_server ;          }      } }

    2.失败重试配置

?

1 2 3 4

upstream real_server {     server 192.168.103.100:2001 weight=1 max_fails=2 fail_timeout=60s;     server 192.168.103.100:2002 weight=2 max_fails=2 fail_timeout=60s; }

意思是在fail_timeout时间内失败了max_fails次请求后，则认为该上游服务器不可用，然后将该服务地址踢除掉。fail_timeout时间后会再次将该服务器加入存活列表，进行重试。

三、Nginx限流配置

1. 配置参数

limit_req_zone指令设置参数 

?

1	limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r /s ;

1）limit_req_zone定义在http块中，$binary_remote_addr表示保存客户端IP地址的二进制形式。
2）Zone定义IP状态及URL访问频率的共享内存区域。zone=keyword标识区域的名字，以及冒号后面跟区域大小。16000个IP地址的状态信息约1MB，所以示例中区域可以存储160000个IP地址。
3）Rate定义最大请求速率。示例中速率不能超过每秒10个请求。

2.设置限流

?

1 2 3 4

location / {          limit_req zone=mylimit burst=20 nodelay;          proxy_pass http: //real_server ; }

burst排队大小，nodelay不限制单个请求间的时间

3.不限流白名单

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

geo $limit { default              1; 192.168.2.0 /24  0; }   map $limit $limit_key { 1 $binary_remote_addr; 0 "" ; }   limit_req_zone $limit_key zone=mylimit:10m rate=1r /s ;   location / {          limit_req zone=mylimit burst=1 nodelay;          proxy_pass http: //real_server ; }

上述配置中，192.168.2.0/24网段的IP访问是不限流的，其他限流。

IP后面的数字含义：

24表示子网掩码:255.255.255.0

16表示子网掩码:255.255.0.0

8表示子网掩码:255.0.0.0

四、Nginx缓存配置

1. 浏览器缓存

静态资源缓存用expire

?

1 2 3

location ~*  .(jpg|jpeg|png|gif|ico|css|js)$ {     expires 2d; }

Response Header中添加了Expires和Cache-Control

静态资源包括（一般缓存）

1）普通不变的图像，如logo，图标等
2）js、css静态文件
3）可下载的内容，媒体文件

协商缓存（add_header ETag/Last-Modified value）

1）HTML文件
2）经常替换的图片
3）经常修改的js、css文件
4）基本不变的API接口

不需要缓存

1）用户隐私等敏感数据

2）经常改变的api数据接口

2.代理层缓存

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

// 缓存路径，inactive表示缓存的时间，到期之后将会把缓存清理 proxy_cache_path /data/cache/nginx/ levels=1:2 keys_zone=cache:512m inactive = 1d max_size=8g;   location / {      location ~ \.(htm|html)?$ {          proxy_cache cache;          proxy_cache_key    $uri$is_args$args;     // 以此变量值做HASH，作为KEY          //HTTP 响应首部可以看到X-Cache字段，内容可以有HIT,MISS,EXPIRES等等          add_header X-Cache $upstream_cache_status;          proxy_cache_valid 200 10m;          proxy_cache_valid any 1m;          proxy_pass  http: //real_server ;          proxy_redirect     off;      }      location ~ .*\.(gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ {          root /data/webapps/edc ;          expires      3d;          add_header Static Nginx-Proxy;      } }

        在本地磁盘创建一个文件目录，根据设置，将请求的资源以K-V形式缓存在此目录当中，KEY需要自己定义（这里用的是url的hash值），同时可以根据需要指定某内容的缓存时长，比如状态码为200缓存10分钟，状态码为301，302的缓存5分钟，其他所有内容缓存1分钟等等。
        可以通过purger的功能清理缓存。
        AB测试/个性化需求时应禁用掉浏览器缓存。

五、Nginx黑名单

1.一般配置

?

1 2 3 4 5 6 7

location / {      deny  192.168.1.1;      deny 192.168.1.0 /24 ;      allow 10.1.1.0 /16 ;      allow 2001:0db8:: /32 ;      deny  all; }

2. Lua+Redis动态黑名单(OpenResty)

1）安装运行

?

1 2 3 4 5 6 7 8

yum install yum-utils yum-config-manager --add-repo https: //openresty .org /package/centos/openresty .repo yum install openresty yum install openresty-resty 查看 yum --disablerepo= "*" --enablerepo= "openresty" list available 运行 service openresty start

2) 配置(/usr/local/openresty/nginx/conf/nginx.conf)

?

1 2 3 4 5 6 7 8 9 10

lua_shared_dict ip_blacklist 1m;   server {      listen  80;        location / {          access_by_lua_file lua /ip_blacklist .lua;          proxy_pass http: //real_server ;      } }

lua脚本（ip_blacklist.lua）

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57

local redis_host    = "192.168.1.132" local redis_port    = 6379 local redis_pwd     = 123456 local redis_db = 2   -- connection timeout for redis in ms. local redis_connection_timeout = 100   -- a set key for blacklist entries local redis_key     = "ip_blacklist"   -- cache lookups for this many seconds local cache_ttl     = 60   -- end configuration   local ip                = ngx. var .remote_addr local ip_blacklist      = ngx.shared.ip_blacklist local last_update_time  = ip_blacklist: get ( "last_update_time" );   -- update ip_blacklist from Redis every cache_ttl seconds: if last_update_time == nil or last_update_time < ( ngx.now() - cache_ttl ) then      local redis = require "resty.redis" ;    local red = redis: new ();      red:set_timeout(redis_connect_timeout);      local ok, err = red:connect(redis_host, redis_port);    if not ok then      ngx.log(ngx.ERR, "Redis connection error while connect: " .. err);    else      local ok, err = red:auth(redis_pwd)      if not ok then        ngx.log(ngx.ERR, "Redis password error while auth: " .. err);      else          local new_ip_blacklist, err = red:smembers(redis_key);          if err then              ngx.log(ngx.ERR, "Redis read error while retrieving ip_blacklist: " .. err);          else          ngx.log(ngx.ERR, "Get data success:" .. new_ip_blacklist)            -- replace the locally stored ip_blacklist with the updated values:              ip_blacklist:flush_all();            for index, banned_ip in ipairs(new_ip_blacklist) do              ip_blacklist: set (banned_ip, true );            end            -- update time            ip_blacklist: set ( "last_update_time" , ngx.now());        end      end    end end   if ip_blacklist: get (ip) then    ngx.log(ngx.ERR, "Banned IP detected and refused access: " .. ip);    return ngx.exit(ngx.HTTP_FORBIDDEN); end

六、Nginx灰度发布

1. 根据Cookie实现灰度发布

根据Cookie查询version值，如果该version值为v1转发到host1，为v2转发到host2，都不匹配的情况下转发默认。

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37

upstream host1 {     server 192.168.2.46:2001 weight=1;  #轮询服务器和访问权重     server 192.168.2.46:2002 weight=2; }   upstream host2 {     server 192.168.1.155:1111  max_fails=1 fail_timeout=60; }   upstream default {     server 192.168.1.153:1111  max_fails=1 fail_timeout=60; }   map $COOKIE_version $group {     ~*v1$ host1;     ~*v2$ host2;     default default; }   lua_shared_dict ip_blacklist 1m;   server {      listen  80;        #set $group "default";      #if ($http_cookie ~* "version=v1"){      #    set $group host1;      #}      #if ($http_cookie ~* "version=v2"){      #    set $group host2;      #}        location / {          access_by_lua_file lua /ip_blacklist .lua;          proxy_pass http: // $group;      } }

2. 根据来路IP实现灰度发布

?

1 2 3 4 5 6 7 8 9

server {    ……………    set $group default;    if ($remote_addr ~ "192.168.119.1" ) {        set $group host1;    }    if ($remote_addr ~ "192.168.119.2" ) {        set $group host2;    }

3. 更细粒度灰度发布

可用lua脚本实现，参考开源项目：https://github.com/CNSRE/ABTestingGateway