Nginx高级知识（负载均衡、限流、缓存、黑名单、发布）

源代码CXH

已于 2024-06-23 10:44:51 修改

阅读量391

点赞数 5

分类专栏： nginx 文章标签： nginx java 服务器

于 2024-06-23 10:43:10 首次发布

本文链接：https://blog.csdn.net/u012014505/article/details/139839172

版权

nginx 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

Nginx负载均衡配置

1:负载均衡配置

http {
    ......
    upstream real_server {
        server 192.168.0.100:1 weight=1; #轮询服务器和访问权重
        server 192.168.0.100:2 weight=2;
    }
    server {
    listen 80;
        location / {
            proxy_pass http://nginx_server;
        }
    }
}

2:失败重试配置

upstream real_server {
    server 192.168.0.100:1 weight=1 max_fails=2 fail_timeout=60s;
    server 192.168.0.100:2 weight=2 max_fails=2 fail_timeout=60s;
}

意思是在fail_timeout时间内失败了max_fails次请求后，则认为该上游服务器不可用，然后将该服务地址踢除掉。fail_timeout时间后会再次将该服务器加入存活列表，进行重试。

Nginx限流配置

1.配置参数

limit_req_zone指令设置参数

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;

limit_req_zone定义在http块中，$binary_remote_addr表示保存客户端IP地址的二进制形式。
Zone定义IP状态及URL访问频率的共享内存区域。zone=keyword标识区域的名字，以及冒号后面跟区域大小。16000个IP地址的状态信息约1MB，所以示例中区域可以存储160000个IP地址。
Rate定义最大请求速率。示例中速率不能超过每秒10个请求

2.设置限流

location / {
    limit_req zone=mylimit burst=20 nodelay;
    proxy_pass http://real_server;
}

burst排队大小，nodelay不限制单个请求间的时间。

3.不限流白名单

geo $limit {
    default 1;
    192.168.2.0/24 0;
}
map $limit $limit_key {
    1 $binary_remote_addr;
    0 "";
}
limit_req_zone $limit_key zone=mylimit:10m rate=1r/s;
location / {
    limit_req zone=mylimit burst=1 nodelay;
    proxy_pass http://real_server;
}

上述配置中，192.168.2.0/24网段的IP访问是不限流的，其他限流。
IP后面的数字含义：

24表示子网掩码:255.255.255.0
16表示子网掩码:255.255.0.0
8表示子网掩码:255.0.0.0

Nginx缓存配置

浏览器缓存

静态资源缓存用expire

location ~* .(jpg|jpeg|png|gif|ico|css|js)$ {
    expires 2d;
}

Response Header中添加了Expires和Cache-Control

静态资源包括（一般缓存）

普通不变的图像，如logo，图标等
js、css静态文件
可下载的内容，媒体文件

协商缓存（add_header ETag/Last-Modified value）

HTML文件
经常替换的图片
经常修改的js、css文件
基本不变的API接口
不需要缓存
用户隐私等敏感数据
经常改变的api数据接口

代理层缓存

//缓存路径，inactive表示缓存的时间，到期之后将会把缓存清理
proxy_cache_path /data/cache/nginx/ levels=1:2 keys_zone=cache:512m inactive =
1d max_size=8g;
location / {
    location ~ \.(htm|html)?$ {
        proxy_cache cache;
        proxy_cache_key $uri$is_args$args; //以此变量值做HASH，作为KEY
        //HTTP响应首部可以看到X-Cache字段，内容可以有HIT,MISS,EXPIRES等等
        add_header X-Cache $upstream_cache_status;
        proxy_cache_valid 200 10m;
        proxy_cache_valid any 1m;
        proxy_pass http://real_server;
        proxy_redirect off;
     }
location ~ .*\.(gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ {
    root /data/webapps/edc;
    expires 3d;
    add_header Static Nginx-Proxy;
   }
}

在本地磁盘创建一个文件目录，根据设置，将请求的资源以K-V形式缓存在此目录当中，KEY需要自己定义（这里用的是url的hash值），同时可以根据需要指定某内容的缓存时长，比如状态码为200缓存10分钟，状态码为301，302的缓存5分钟，其他所有内容缓存1分钟等等。
可以通过purger的功能清理缓存

注意点：AB测试/个性化需求时应禁用掉浏览器缓存

Nginx黑名单

一般配置

location / {
    deny 192.168.11.1;
    deny 192.168.11.0/24;
    allow 10.1.11.0/16;
    allow 2001:0db8::/32;
    deny all;
}

动态黑名单（Lua+Redis）

安装运行

yum install yum-utils
yum-config-manager --add-repo
https://openresty.org/package/centos/openresty.repo
yum install openresty
yum install openresty-resty
查看
yum --disablerepo="*" --enablerepo="openresty" list available
运行
service openresty start

配置(nginx.conf)

lua_shared_dict ip_blacklist 1m;
  server {
      listen 80;
      location / {
      access_by_lua_file lua/ip_blacklist.lua;
      proxy_pass http://real_server;
      }
  }

lua脚本（ip_blacklist.lua）

local redis_host = "192.168.11.1"
local redis_port = 6379
local redis_pwd = 88888888
local redis_db = 2
-- connection timeout for redis in ms.
local redis_connection_timeout = 100
-- a set key for blacklist entries
local redis_key = "ip_blacklist"
-- cache lookups for this many seconds
local cache_ttl = 60
-- end configuration
local ip = ngx.var.remote_addr
local ip_blacklist = ngx.shared.ip_blacklist
local last_update_time = ip_blacklist:get("last_update_time");
-- update ip_blacklist from Redis every cache_ttl seconds:
if last_update_time == nil or last_update_time < ( ngx.now() - cache_ttl ) then
    local redis = require "resty.redis";
    local red = redis:new();
    red:set_timeout(redis_connect_timeout);
    local ok, err = red:connect(redis_host, redis_port);
if not ok then
    ngx.log(ngx.ERR, "Redis connection error while connect: " .. err);
else
    local ok, err = red:auth(redis_pwd)
if not ok then
    ngx.log(ngx.ERR, "Redis password error while auth: " .. err);
else
    local new_ip_blacklist, err = red:smembers(redis_key);
if err then
    ngx.log(ngx.ERR, "Redis read error while retrieving ip_blacklist: "
.. err);
else
    ngx.log(ngx.ERR, "Get data success:" .. new_ip_blacklist)
    -- replace the locally stored ip_blacklist with the updated values:
    ip_blacklist:flush_all();
for index, banned_ip in ipairs(new_ip_blacklist) do
    ip_blacklist:set(banned_ip, true);
end
    -- update time
    ip_blacklist:set("last_update_time", ngx.now());
end
end
end
end
if ip_blacklist:get(ip) then
    ngx.log(ngx.ERR, "Banned IP detected and refused access: " .. ip);
    return ngx.exit(ngx.HTTP_FORBIDDEN);
end

Nginx灰度发布

根据Cookie实现灰度发布

根据Cookie查询version值，如果该version值为v1转发到host1，为v2转发到host2，都不匹配的情况下转发到默认配置

upstream host1 {
    server 192.168.2.46:2001 weight=1; #轮询服务器和访问权重
    server 192.168.2.46:2002 weight=2;
}
upstream host2 {
    server 192.168.1.155:1111 max_fails=1 fail_timeout=60;
}
upstream default {
    server 192.168.1.153:1111 max_fails=1 fail_timeout=60;
}
map $COOKIE_version $group {
    ~*v1$ host1;
    ~*v2$ host2;
    default default;
}
lua_shared_dict ip_blacklist 1m;
server {
    listen 80;
    #set $group "default";
    #if ($http_cookie ~* "version=v1"){
        # set $group host1;
    #}
    #if ($http_cookie ~* "version=v2"){
        # set $group host2;
    #}
location / {
    access_by_lua_file lua/ip_blacklist.lua;
    proxy_pass http://$group;
   }
}

根据来路IP实现灰度发布

server {
...............
    set $group default;
    if ($remote_addr ~ "192.168.110.1") {
        set $group host1;
    }
    if ($remote_addr ~ "192.168.110.2") {
        set $group host2;
    }
}