黑马点评18——多级缓存-OpenResty

最新推荐文章于 2024-09-30 23:30:29 发布
最新推荐文章于 2024-09-30 23:30:29 发布
阅读量991 收藏 10
点赞数 13
分类专栏： 黑马点评redis 文章标签： 缓存 openresty redis lua
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shall_zhao/article/details/142070320
版权

文章目录

安装OpenResty

在这里插入图片描述
安装参考博客

OpenResty快速入门

在这里插入图片描述
nginx是没有业务能力的，我们是把请求转发到openResty，然后在openResty中部署集群。
那怎样在openResty中接收并处理这样的请求呢？
在这里插入图片描述


#user  nobody;
worker_processes  1;
error_log  logs/error.log;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    #lua 模块
    lua_package_path "/usr/local/openresty/lualib/?.lua;;";
    #c模块
    lua_package_cpath "/usr/local/openresty/lualib/?.so;;";

    server {
        listen       8081;
        server_name  localhost;
        location /api/item {
            # 默认的响应类型
            default_type application/json;
            # 响应结果由lua/item.lua文件来决定
            content_by_lua_file lua/item.lua;
        }
        location / {
            root   html;
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

编写lua文件，但我们这里先不搞那么复杂，先返回一个假数据
在这里插入图片描述
假数据直接从页面中拷贝一个，为了以示区别，把其中的数据稍微改一下，我把行李箱尺寸由21改成了26
在这里插入图片描述
重启后，重新访问我们的商品详情页
在这里插入图片描述
可以看出，我们成功的把前端请求通过nginx， 然后nginx转发到了后台的openresty上，然后由lua脚本返回了我们设置的参数。

OpenResty获取请求参数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这样就可以拿到路径参数，这个参数会存到变量里，我们就可以去到了。

在这里插入图片描述
回来测试
在这里插入图片描述
返回的id确实随着id的改变而改变了
如果在openresty中执行nginx -s reload没变化，又可能是重新加载不行，我们直接关掉openresty，

nginx -s stop

在启动

nginx

但是启动的时候报了个错误

提示：nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)

nginx: [error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)

在这里插入图片描述

解决办法，直接杀掉所有的nginx进程
killall -9 nginx 杀掉nginx 进程 然后重启就行了
在执行启动

nginx

封装Http请求

在这里插入图片描述
我们现在的请求可以打到Openresty中了，但现在我们如何把Openresty的请求打进tomcat中去呢？我们的Openresty在虚拟机中，tomcat也就是我们的springBoot项目在windows环境下，这得在从虚拟机打出来。
这里有个技巧就是，只要你的windows机器的ip地址和你的虚拟即的网段设置成一样的，最后的主机号设置成1，就可以把请求从虚拟机打到windows主机上。（注意：防火墙得关闭）
在这里插入图片描述
nginx反向代理把请求发到tomcat中

在这里插入图片描述
先给openresty的nginx配置反向代理（注意结合自己的网段）
在这里插入图片描述
因为发请求的API经常要使用，我们可以给他封装成函数。
在这里插入图片描述

-- 封装函数，发送http请求，并解析响应
local function read_http(path, params)
    local resp = ngx.location.capture(path,{
        method = ngx.HTTP_GET,
        args = params,
    })
    if not resp then
        -- 记录错误信息，返回404
        ngx.log(ngx.ERR, "http 查询失败, path: ", path , ", args: ", args)
        ngx.exit(404)
    end
    return resp.body
end
-- 将方法导出
local _M = {  
    read_http = read_http
}  
return _M

因为我们在conf文件里配置了

lua_package_path "/usr/local/openresty/lualib/?.lua;;";

所以这个lualib包下面的所有.lua文件都会被加载到

向Tomcat发送http请求

我们这里修改我们的lua脚本，调用这个API，把请求发给tomcat，先简单返回一个商品的数据，拼接商品和库存的动作以后在做

-- 导入common函数库
local common = require('common')
local read_http = common.read_http

-- 获取路径参数
local id = ngx.var[1]

-- 查询商品信息
local itemJSON = read_http("/item/" .. id, nil)
-- 查询库存信息
local stockJSON = read_http("/item/stock/" .. id, nil)
-- 返回结果
ngx.say(itemJSON)

在浏览器测试一下，发现果然可以返回商品数据了
在这里插入图片描述
那该怎么样完成数据的拼接呢？
我们得把数据转换为table，只有转换成了table才能完成数据的拼接这些操作
在这里插入图片描述cjson地址：https://github.com/openresty/lua-cjson
在这里插入图片描述
可以看出在lualib中已经有了cjson， 那就可以直接导入使用了
我们在item.lua脚本中完成组合数据并返回

-- 导入common函数库
local common = require('common')
local read_http = common.read_http
-- 导入cjson库
local cjson = require('cjson')

-- 获取路径参数
local id = ngx.var[1]

-- 查询商品信息
local itemJSON = read_http("/item/" .. id, nil)
-- 查询库存信息
local stockJSON = read_http("/item/stock/" .. id, nil)

-- JSON 转化为lua的table
local item = cjson.decode(itemJSON)
local stock = cjson.decode(stockJSON)
-- 组合数据
item.stock = stock.stock
item.sold = stock.sold

-- 把item序列化为JSON返回结果
ngx.say(cjson.encode(item))

回浏览器再次测试
在这里插入图片描述
发现返回的数据已经有销量和库存了

根据商品id对tomcat集群负载均衡

我们刚刚测试的tomcat是单机的，实际中tomcat一定是个集群。
在这里插入图片描述
问题描述：
因为我们实际的tomcat一定是集群的，那我们的nginx会代理到tomcat的某一台服务器上（8081），在tomcat这一台服务器查询后返回结果，会形成一个JVM进程缓存，但是我们的nginx的默认负载均衡策略是轮询，下一次查询同一个商品id，nginx就把请求发到另一个tomcat服务器上（8082），那上次tomcat形成的jvm进程（8081）缓存无法命中，因为jvm进程缓存是不能共享的，所以，还得让8082服务器再次处理，那每次都这样，必然降低我们的命中率，降低性能。
所以，我们要修改nginx的负载均衡策略，把轮询的负载均衡策略修改为hash，这样每次根据商品id计算hash值，只要hash值一致，就能保证每次都请求同一台tomcat服务器，从而提高命中率。
修改nginx的配置文件


#user  nobody;
worker_processes  1;
error_log  logs/error.log;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    #lua 模块
    lua_package_path "/usr/local/openresty/lualib/?.lua;;";
    #c模块     
    lua_package_cpath "/usr/local/openresty/lualib/?.so;;";  

    upstream tomcat-cluster {
        hash $request_uri;
        server 192.168.10.1:8081;
        server 192.168.10.1:8082;
    }


    server {
        listen       8081;
        server_name  localhost;
        
	location /item {
	    proxy_pass http://tomcat-cluster;
	}
	
	location ~ /api/item/(\d+) {
	    # 响应类型，这里返回json
	    default_type application/json;
	    # 响应数据由 lua/item.lua这个文件决定
	    content_by_lua_file lua/item.lua;
	}
        location / {
            root   html;
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

然后启动两台tomcat服务器
在这里插入图片描述
去浏览器访问测试，不管访问任何商品，只要访问了一次，都会生成进程缓存，而且确保了进程缓存永远生效，不管访问多少次，都可以直接在缓存中得到数据。

Redis缓存预热

在这里插入图片描述

按照我们最初的多级缓存的设想，我们在查询的时候不要直接打到tomcat上，而是应该先打到redis查询，如果redis查询失败在查询tomcat。我们应该加入redis的缓存进行预热。
在这里插入图片描述
在这里插入图片描述

<dependency>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

在这里插入图片描述
我这里是因为虚拟机里的docker有很多redis，这个开启的redis配置的映射的是6399端口，所以根据自己情况修改
然后我们来编写初始化类


@Component
public class RedisHandler implements InitializingBean {

    @Autowired
    private StringRedisTemplate stringRedisTemplate;

    @Autowired
    private IItemService itemService;

    @Autowired
    private IItemStockService stockService;

    // spring中的默认json处理工具
    private static final ObjectMapper MAPPER = new ObjectMapper();

    // afterPropertiesSet()会在bean创建完，Autowired注入以后执行，实现缓存预热效果
    @Override
    public void afterPropertiesSet() throws Exception {
        // 初始化缓存
        // 1. 查询商品信息，我们查所有的，实际上应该查询热点数据
        List<Item> itemList = itemService.list();
        // 2. 放入缓存
        for (Item item : itemList) {
            // 2.1 item序列化为JSON
            String json = MAPPER.writeValueAsString(item);
            // 2.2 存入redis
            stringRedisTemplate.opsForValue().set("item:id:" + item.getId(), json);
        }


        // 1. 查询库存信息，
        List<ItemStock> stockList = stockService.list();
        // 2. 放入缓存
        for (ItemStock stock : stockList) {
            // 2.1 item序列化为JSON
            String json = MAPPER.writeValueAsString(stock);
            // 2.2 存入redis
            stringRedisTemplate.opsForValue().set("item:stock:id:" + stock.getId(), json);
        }
    }
}

启动项目，就可以在redis中完成预热。

查询Redis缓存

OpenResty中操作redis函数在这里
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
我们把这个代码封装一下，放到我们的common.lua中去。
在这里插入图片描述
在这里插入图片描述
修改我们的common

-- 导入redis
local redis = require('resty.redis')
-- 初始化redis
local red = redis:new()
red:set_timeouts(1000,1000,1000)

-- 关闭redis连接的工具方法，其实是放入连接池
local function close_redis(red)
    local pool_max_idle_time = 10000 -- 连接的空闲时间，单位是毫秒
    local pool_size = 100 --连接池大小
    local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
    if not ok then
        ngx.log(ngx.ERR, "放入redis连接池失败: ", err)
    end
end


-- 查询redis的方法 ip和port是redis地址，key是查询的key
local function read_redis(ip, port, key)
    -- 获取一个连接
    local ok, err = red:connect(ip, port)
    if not ok then
        ngx.log(ngx.ERR, "连接redis失败 : ", err)
        return nil
    end
    -- 查询redis
    local resp, err = red:get(key)
    -- 查询失败处理
    if not resp then
        ngx.log(ngx.ERR, "查询Redis失败: ", err, ", key = " , key)
    end
    --得到的数据为空处理
    if resp == ngx.null then
        resp = nil
        ngx.log(ngx.ERR, "查询Redis数据为空, key = ", key)
    end
    close_redis(red)
    return resp
end


-- 封装函数，发送http请求，并解析响应
local function read_http(path, params)
    local resp = ngx.location.capture(path,{
        method = ngx.HTTP_GET,
        args = params,
    })
    if not resp then
        -- 记录错误信息，返回404
        ngx.log(ngx.ERR, "http 查询失败, path: ", path , ", args: ", args)
        ngx.exit(404)
    end
    return resp.body
end
-- 将方法导出
local _M = {  
    read_http = read_http,
    read_redis = read_redis
}  
return _M

修改我们的item.lua

-- 导入common函数库
local common = require('common')
local read_http = common.read_http
local read_redis = common.read_redis
-- 导入cjson库
local cjson = require('cjson')

-- 封装查询函数
function read_data(key, path, params)
	-- 查询redis
	local resp = read_redis("127.0.0.1", 6399, key)
	-- 判断查询结果
	if not resp then
		ngx.log("redis查询失败， 产生查询http, key: ", key)
		-- redis 查询失败，去查询http
		resp = read_http(path, params)
	end
	return resp
end

-- 获取路径参数
local id = ngx.var[1]

-- 查询商品信息
local itemJSON = read_data("item:id:" .. id,"/item/" .. id, nil)
-- 查询库存信息
local stockJSON = read_data("item:stock:id:" .. id,"/item/stock/" .. id, nil)

-- JSON 转化为lua的table
local item = cjson.decode(itemJSON)
local stock = cjson.decode(stockJSON)
-- 组合数据
item.stock = stock.stock
item.sold = stock.sold

-- 把item序列化为JSON返回结果
ngx.say(cjson.encode(item))

这就是使用lua来先查询redis， 当redis查询失效后在查询我们的tomcat服务器。

Nginx本地缓存

在这里插入图片描述
现在我们的多级缓存就差OpenResty的本地缓存了。
怎么实现呢？
在这里插入图片描述
在这里插入图片描述
我们在nginx.conf中配置共享词典
在这里插入图片描述
在item.lua的业务逻辑中导入我们的共享词典，并且把我们的查询逻辑进行修改，在查询redis之前，先查询本地缓存。
我们的业务逻辑item.lua要修改成这个样子了

-- 导入common函数库
local common = require('common')
local read_http = common.read_http
local read_redis = common.read_redis
-- 导入cjson库
local cjson = require('cjson')
-- 导入共享词典，本地缓存
local item_cache = ngx.shared.item_cache

-- 封装查询函数
function read_data(key, expire, path, params)
	-- 查询本地缓存
	local val = item_cache:get(key)
	if not val then
		ngx.log(ngx.ERR, "本地缓存查询失败，尝试查询redis， key: ", key)
		-- 查询redis
		val = read_redis("127.0.0.1", 6399, key)
		-- 判断查询结果
		if not val then
			ngx.log(ngx.ERR, "redis查询失败， 产生查询http, key: ", key)
			-- redis 查询失败，去查询http
			val = read_http(path, params)
		end
		-- 查询成功， 把数据写入本地缓存
		item_cache:set(key, val, expire)
	end
	-- 返回数据
	return val
end

-- 获取路径参数
local id = ngx.var[1]

-- 查询商品信息
local itemJSON = read_data("item:id:" .. id, 1800 ,"/item/" .. id, nil)
-- 查询库存信息
local stockJSON = read_data("item:stock:id:" .. id, 60 ,"/item/stock/" .. id, nil)

-- JSON 转化为lua的table
local item = cjson.decode(itemJSON)
local stock = cjson.decode(stockJSON)
-- 组合数据
item.stock = stock.stock
item.sold = stock.sold

-- 把item序列化为JSON返回结果
ngx.say(cjson.encode(item))

这样我们在去浏览器测试一次，这样就完整实现了我们的多级缓存。
so cool!!!

shall_zhao
关注
专栏目录
SSTI漏洞基础解析
小王的储物间
02-14 541
1、网络安全理论知识（2天）①了解行业相关背景，前景，确定发展方向。②学习网络安全相关法律法规。③网络安全运营的概念。④等保简介、等保规定、流程和规范。（非常重要）2、渗透测试基础（一周）①渗透测试的流程、分类、标准②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等3、操作系统基础（一周）
OpenResty无损升级内嵌nginx版本0DAY漏洞
qq1071643762的博客
08-01 5653
OpenResty无损升级内嵌nginx版本，nginx
Nginx/OpenResty内存泄漏/目录穿越漏洞通告
爱国小白帽
03-19 7682
Nginx/OpenResty内存泄漏/目录穿越漏洞通告 原创 360-CERT [360CERT](javascript:void(0)???? 今天 0x00 漏洞背景 2020年03月18日， 360CERT监测发现 openwall oss-security 邮件组披露了两枚漏洞。在特定配置下 nginx/openresty 存在 内存泄漏漏洞/目录穿越漏洞。 Nginx 是异步框架的网页服务...
OpenResty 环境问题漏洞 windows 系统下修复
最新发布
zengliguang的专栏
09-30 562
【代码】OpenResty 环境问题漏洞 windows 系统下修复。
【多级缓存】多级缓存OpenResty，Canal，nginx本地缓存
weixin_62513677的博客
04-29 1797
第三方开源的canal-starter：地址:https://github.com/NormanGyllenhaal/canal-client。缓存预热:在实际开发中，我们可以利用大数据统计用户访问的热点数据，在项目启动时将这些热点数据提前查询并保存到Redis中。注意：这里的path是路径，并不包含IP和端口，这个请求会被nginx内部的server监听并处理，可以使用反向代理。Canal提供了各种语言的客户端，当Canal监听到binlog变化时，会通知Canal的客户端。
【漏洞预警】Nginx/OpenResty 特殊配置下内存泄漏与目录穿越漏洞
讯开技术孵化器博客
05-24 3483
Nginx/OpenResty 特殊配置下内存泄漏漏洞描述影响版本安全建议平滑升级nginx到最新版一、升级前准备二、平滑升级nginx 漏洞描述 阿里云应急响应中心监测到国外安全研究者公开了Nginx/OpenResty在特殊配置下存在内存泄漏或目录穿越漏洞详情。 Nginx是一个高性能的HTTP和反向代理web服务器，OpenResty是一个基于 Nginx 与 Lua 的高性能Web平台。近日国外安全研究者公开了Nginx/OpenResty在特殊配置下存在内存泄漏或目录穿越漏洞详情。由于Nginx在
Windows上nginx-openresty添加rtmp模块
10-14
网上查找nginx-openresty添加rtmp模块的方法基本都是在Linux上的。但由于项目需要在Windows上使用nginx，无奈只好自己去找资料，在Windows上编译nginx-openresty同时加入rtmp模块。本资源是Windows上生成好的...
programming-openresty
12-29
OpenResty是一个基于高性能的web平台，它将标准的Nginx服务器与Lua脚本语言进行集成，从而实现高性能、可扩展的web应用。通过使用Lua模块，开发者能够使用Nginx的事件模型创建可扩展的网络应用和微服务。OpenResty的...
programming-openresty：编程OpenResty书
02-21
编程OpenResty 这是由OpenResty创作者编写的有关OpenResty编程的官方指南。 这本书仍在准备中。 请经常回来查看更新。 张艺春（Yichun Zhang）编写的《 Programming OpenResty》全书可在此处获得。 所有内容均根据...
mino-thumbor-openresty:minio thumbor && openresty
05-17
mynginx-代理-github 怎么跑 docker-compose构建 如果使用一些错误构建拇指图像，则可以使用docker-compose-new.yml docker-compose build docker-compose运行 docker-compose up -d 向公众上传图片和设置策略 ...
linux-OpenResty安装依赖的库
07-23
linux-OpenResty安装依赖的库,内有 pcre-7.8-7.el6.x86_64.rpm，pcre-devel-7.8-7.el6.x86_64.rpm，openssl-1.0.1e-57.el6.x86_64.rpm，openssl-devel-1.0.1e-57.el6.x86_64.rpm，zlib-devel-1.2.3-29.el6.x86_64....
HM-SpringCloud微服务系列11.3.3【实现多级缓存(2)】
yubaby
05-03 179
4. 查询Tomcat[案例] 拿到商品ID后，本应去缓存中查询商品信息，不过目前我们还未建立nginx、redis缓存。因此，这里我们先根据商品id去tomcat查询商品信息。我们实现如图红框部分： 需要注意的是，我们的OpenResty是在虚拟机，Tomcat是在Windows电脑上。两者IP一定不要搞错了。 这里有一个结论如下：(前提是win防火墙关闭，方法参考https://jingy...
OpenShift 4 - 如何利用“风险镜像+配置漏洞”攻击应用 Secret（附视频）
多恩斯基的博客
10-07 709
》本文在 OpenShift 4 和 Kubernetes 1.20 环境中进行验证。
（第二版）亿级流量电商详情页系统实战-缓存架构+高可用服务架构+微服务架构+课件
AlwaysBeCoding
04-19 496
第1节课程介绍以及高并发高可用复杂系统中的缓存架构有哪些东西 第2节基于大型电商网站中的商品详情页系统贯穿的授课思路介绍 [免费观看] 7分钟 第3节小型电商网站的商品详情页的页面静态化架构以及其缺陷11分钟 第4节大型电商网站的异步多级缓存构建+nginx数据本地化动态渲染的架构9分钟 第5节能够支撑高并发+高可用+海量数据+备份恢复的redis的重要性5分钟 第6节从零...
黑马Redis学习——实战篇（2）
Ydin00的博客
08-22 964
黑马Redis课程学习实战篇（2）
13-OpenResty职业技能图谱.jpg
11-11
OpenResty职业技能图谱，一图胜千言，一图胜万字，结构清晰明了，内容丰富多彩，条理简明扼要，所见即所得，简约而不简单，带您装逼带您飞。
lua-nginx-openresty-redis 详细案例源码
03-06
Nginx 教程 基础 Nginx编译安装 Nginx.conf详解 Location 详解 Nginx基础知识 Nginx高性能WEB服务器详解 ... Nginx的11个Phases agentzh 的 Nginx 教程 ... TCP和UDP负载平衡官方参考文档 ... nginx 并发数问题思考：...
坑爹啊!OpenResty HTTP库 request_uri方法set_keepalive报错源码中的BUG分析
qq_38822481的博客
12-02 5576
******分发层架构中，我们会在nginx里去写lua脚本，因为我们需要自定义一些特殊的业务逻辑 比如说，流量分发，自己用lua去写分发的逻辑，在分发层nginx里去写的 再比如说，要用l缓存架构中的的控制逻辑，在应用层nginx里去写的 nginx+lua 用最流行的开源方案，就是用OpenResty 这次我下了一个最新的OpenResty，自己用lua去写分发的逻辑，在分发层nginx里去写...
使用OpenResty、Redis、Caffeine、Canal构成多级缓存
m0_52889702的博客
11-12 1565
初始化准备JVM进程缓存Caffeinenginx业务集群缓存LUA的基本使用OpenRestyOpenResty业务流程发起请求到tomcat连接redisOpenResty本地缓存缓存同步Canal的安装及配置Canal的消费者端使用Caffeinenginx业务集群缓存LUA基本使OpenResty OpenResty业务流程 发起请求到tomcat 连接redis OpenResty本地缓存 缓存同步
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值