在不需要高速访问的场景下,运行在Java后端的容器(如Tomcat)会直接从DB数据库(如MySQL)查询数据,然后返回给客户端。
由于数据库的连接数限制、网络传输延迟、数据库的IO频繁等多方面的原因,Java后端容器直接查询DB的性能会很低,这时会进行架构的调整,采用“Java容器+Redis+DB”的查询架构。针对数据一致性要求不是特别高但是访问频繁的API接口(实际上大部分都是),可以将DB数据放入Redis缓存,Java API可以优先查询Redis,如果缓存未命中,就回源到DB查询,从DB查询成功后再将数据更新到Redis缓存。
“Java容器+Redis+DB”的查询架构既起到Redis分流大量查询请求的作用,又大大提升了API接口的处理性能,可谓一举两得。该架构的请求处理流程如图8-24所示。
图8-24 “Java容器+Redis+DB”查询架构的请求处理流程
大家知道,常用的后端Java容器(如Tomcat、Jetty等)的性能其实不是太高,QPS性能指标一般会在1000以内。从笔者经历过的很多次性能攻关的数据来看,Nginx的性能是Java容器的10倍左右(甚至以上),并且稳定性更强,还不存在FullGC卡顿。
为了应对高并发,可以将“Java容器+Redis+DB”架构优化为“Nginx+Redis+Java容器”查询架构。新架构将后端Java容器的缓存判断、缓存查询前移到反向代理Nginx,通过Nginx直接进行Redis缓存判断、缓存查询。
“Nginx+Redis+Java容器”的查询架构不仅为Java容器减少了很多请求,而且能够充分发挥Nginx的高并发优势和稳定性优势。该架构的请求处理流程如图8-25所示。
图8-25 “Nginx+Redis+Java容器”查询架构的请求处理流程
这里以秒杀系统的商品数据查询为例提供一个“Nginx+Redis+Java容器”查询架构的参考实现。首先定义两个接口:一个模拟Java容器的商品查询接口;另一个模拟供外部调用的商品查询接口:
·模拟Java容器的商品查询接口:/java/good/detail。·模拟供外部调用的商品查询接口:/good/detail。
然后提供一个Lua操作缓存的类RedisCacheDemo,主要定义如下3个方法:
(1)getCache(self,goodId):根据商品id取得Redis商品缓存。
(2)goUpstream(self):通过capture内部请求访问上游接口获取商品数据。
(3)setCache(self,goodId,goodString):设置商品缓存,此方法用于模拟后台Java代码。
缓存操作类RedisCacheDemo的核心代码如下:
—启动调试,正式环境请注释
local mobdebug = require(“luaScript.initial.mobdebug”);
mobdebug.start();
–导入自定义的基础模块
local basic = require(“luaScript.module.common.basic”);
–导入自定义的RedisOperator模块
local redisOp = require(“luaScript.redis.RedisOperator”);
local PREFIX = “GOOD_CACHE:”
–RedisCacheDemo类
local _RedisCacheDemo = { }
_RedisCacheDemo.__index = _RedisCacheDemo
–类的方法new
function _RedisCacheDemo.new(self)
local object = {}
setmetatable(object, self)
return object;
end
–根据商品id取得缓存
function _RedisCacheDemo.getCache(self,goodId)
–创建自定义的redis操作对象
local red = redisOp:new();
–打开连接
if not red:open() then
basic:error(“redis连接失败”);
return nil;
end
–获取缓存数据 local json = red:getValue(PREFIX … goodId);
red:close();
if not json or json==ngx.null then
basic:log(goodId … “的缓存没有命中”);
return nil;
end
basic:log(goodId … “缓存成功命中”);
return json;
end
–通过capture方法回源上游接口
function _RedisCacheDemo.goUpstream(self)
local request_method = ngx.var.request_method
local args = nil
–获取参数的值
if “GET” == request_method then
args = ngx.req.get_uri_args()
elseif “POST” == request_method then
ngx.req.read_body()
args = ngx.req.get_post_args()
end
–回源上游接口,比如Java后端rest接口
local res = ngx.location.capture(“/java/good/detail”,{
method = ngx.HTTP_GET,
args = args --重要:将请求参数原样向上游传递
})
basic:log(“上游数据获取成功”);
–返回上游接口的响应体body
return res.body;
end
–设置缓存,此方法主要用于模拟Java后台代码
function _RedisCacheDemo.setCache(self, goodId ,goodString)
–创建自定义的redis操作对象
local red = redisOp:new();
–打开连接
if not red:open() then
basic:error(“redis连接失败”);
return nil;
end
–set缓存数据
red:setValue(PREFIX … goodId,goodString);
–60秒内过期
red:expire(PREFIX … goodId, 60);
basic:log(goodId … “缓存设置成功”);
–归还连接到连接池
red:close();
return json;
end
return _RedisCacheDemo;
在nginx-redis-demo.conf配置文件中编写一个location配置块来使用该脚本,该配置块是提供给外部调用的商品查询接口/good/detail,具体代码如下:
首先从缓存中查询商品
未命中再回源到
后台 #首先从缓存中查询商品,未命中再回源到Java后台
location = /good/detail {
content_by_lua_block {
local goodId=ngx.var.arg_goodid;
–判断goodId参数是否存在
if not goodId then
ngx.say(“请输入goodId”);
return;
end
–首先从缓存中根据id查询商品
local RedisCacheDemo = require “luaScript.redis.RedisCacheDemo”;
local redisCacheDemo = RedisCacheDemo:new();
local json = redisCacheDemo:getCache(goodId);
–判断缓存是否被命中
if not json then
ngx.say(“缓存是否被命中,回源到上游接口
”);
–若没有命中缓存,则回源到上游接口
json = redisCacheDemo:goUpstream();
else
ngx.say(“缓存已经被命中
”);
end
ngx.say(“商品信息:”,json);
}
}
出于调试方便,在nginx-redis-demo.conf配置文件中再编写一个location配置块来模拟Java容器的后台商品查询接口/java/good/detail。
理论上,后台接口的业务逻辑是从数据库查询商品信息并缓存到Redis,然后返回商品信息。这里为了方便演示对其进行简化,具体的代码如下:
#模拟Java后台接口查询商品,然后设置缓存
location = /java/good/detail {
#指定规则为internal内部规则,防止外部请求命中此规则
internal;
content_by_lua_block {
local RedisCacheDemo = require “luaScript.redis.RedisCacheDemo”;
–Java后台将从数据库查找商品,这里简化成模拟数据
local json=‘{goodId:商品id,goodName:商品名称}’;
–将商品缓存到Redis
local redisCacheDemo = RedisCacheDemo:new();
redisCacheDemo:setCache(ngx.var.arg_goodid, json);
–返回商品到下游网关
ngx.say(json);
}
}
}
修改了nginx-redis-demo.conf文件后重启OpenRestry,然后使用浏览器访问商品查询外部接口/good/detail,并且多次刷新,发现从二次请求开始就能成功命中缓存,其结果如图8-26所示。
图8-26 使用浏览器访问商品查询外部接口/good/detail的结果
Nginx+Redis实现黑名单拦截
==================
我们在日常维护网站时经常会遇到这样一个需求,对于黑名单之内的IP需要拒绝提供服务。实现IP黑名单拦截有很多途径,比如以下方式:
(1)在操作系统层面配置iptables防火墙规则,拒绝黑名单中IP的网络请求。
(2)使用Nginx网关的deny配置指令拒绝黑名单中IP的网络请求。
(3)在Nginx网关的access处理阶段,通过Lua脚本检查客户端IP是否在黑名单中。
(4)在Spring Cloud内部网关(如Zuul)的过滤器中检查客户端
IP是否在黑名单中。
以上检查方式都是基于一个静态的、提前备好的黑名单进行的。在系统实际运行过程中,黑名单往往需要动态计算,系统需要动态识别出大量发起请求的恶意爬虫或者恶意用户,并且将这些恶意请求的IP放入一个动态的IP黑名单中。
Nginx网关可以依据动态黑名单内的IP进行请求拦截并拒绝提供服务。这里结合Nginx和Redis提供一个基于动态IP黑名单进行请求拦截的实现。
首先是黑名单的组成,黑名单应该包括静态部分和动态部分。静态部分为系统管理员通过控制台设置的黑名单。动态部分主要通过流计算框架完成,具体的方法为:将Nginx的访问日志通过Kafka消息中间件发送到流计算框架,然后通过滑动窗口机制计算出窗口内相同IP的访问计数,将超出阈值的IP动态加入黑名单中,流计算框架可以选用ApacheFlink或者Apache Storm。当然,除了使用流计算框架外,也可以使用RxJava滑动窗口进行访问计数的统计。
这里对黑名单的计算和生成不做研究,假定IP黑名单已经生成并且定期更新在Redis中。Nginx网关可以直接从Redis获取计算好的IP黑名单,但是为了提升黑名单的读取速度,并不是每一次请求过滤都从Redis读取IP黑名单,而是从本地的共享内存black_ip_list中获取,同时定期更新到本地共享内存中的IP黑名单。
Nginx+Redis实现黑名单拦截的系统架构如图8-27所示。
图8-27 Nginx+Redis实现黑名单拦截的系统架构
这里提供一个“Nginx+Redis”实现黑名单拦截的参考实现,具体的Lua脚本如下:
—启动调试,正式环境请注释
local mobdebug = require(“luaScript.initial.mobdebug”);
mobdebug.start();
–导入自定义的基础模块
local basic = require(“luaScript.module.common.basic”);
–导入自定义的RedisOperator模块
local redisOp = require(“luaScript.redis.RedisOperator”);local ip = basic.getClientIP();
basic.log(“ClientIP:”…ip);
–lua_shared_dict black_ip_list 1m; #配置文件定义的ip_blacklist共享内存变量
local black_ip_list = ngx.shared.black_ip_list
–获得本地缓存的刷新时间,如果没有过期,就直接使用
local last_update_time = black_ip_list:get(“last_update_time”);
if last_update_time ~= nil then
local dif_time = ngx.now() - last_update_time
if dif_time < 60 then --缓存1分钟,没有过期
if black_ip_list:get(ip) then
总结
总体来说,如果你想转行从事程序员的工作,Java开发一定可以作为你的第一选择。但是不管你选择什么编程语言,提升自己的硬件实力才是拿高薪的唯一手段。
如果你以这份学习路线来学习,你会有一个比较系统化的知识网络,也不至于把知识学习得很零散。我个人是完全不建议刚开始就看《Java编程思想》、《Java核心技术》这些书籍,看完你肯定会放弃学习。建议可以看一些视频来学习,当自己能上手再买这些书看又是非常有收获的事了。
list:get(“last_update_time”);
if last_update_time ~= nil then
local dif_time = ngx.now() - last_update_time
if dif_time < 60 then --缓存1分钟,没有过期
if black_ip_list:get(ip) then
总结
总体来说,如果你想转行从事程序员的工作,Java开发一定可以作为你的第一选择。但是不管你选择什么编程语言,提升自己的硬件实力才是拿高薪的唯一手段。
如果你以这份学习路线来学习,你会有一个比较系统化的知识网络,也不至于把知识学习得很零散。我个人是完全不建议刚开始就看《Java编程思想》、《Java核心技术》这些书籍,看完你肯定会放弃学习。建议可以看一些视频来学习,当自己能上手再买这些书看又是非常有收获的事了。
[外链图片转存中…(img-1CtzQPMH-1714729603111)]