第4章 lua、Canal实现广告缓存

最新推荐文章于 2023-03-06 02:16:45 发布
最新推荐文章于 2023-03-06 02:16:45 发布
阅读量312 收藏 1
点赞数
分类专栏： 畅购商城
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qingwenc/article/details/105367264
版权

1.Lua
1.1 在linux安装lua
1.1.1 先安装lua相关依赖库的支持
yum install libtermcap-devel ncurses-devel libevent-devel readline-devel
1.1.2 再安装

curl -R -O http://www.lua.org/ftp/lua-5.3.5.tar.gz
tar zxf lua-5.3.5.tar.gz
cd lua-5.3.5
make linux test

1.2 语法
1.2.1 交互式编程 Lua 交互式编程模式可以通过命令 lua -i 或 lua 来启用，然后输入命令直接输出结果 print(“hello”);

1.2.2 脚本式编程
编辑文件hello.lua vi hello.lua
在文件中输入 print(“hello”); 保存并退出
执行命令 lua hello.lua 输出：hello

1.3 变量
– 全局变量赋值
a=1
– 局部变量赋值
local b=2
1.4模块
创建一个文件叫module.lua

-- 文件名为 module.lua
-- 定义一个名为 module 的模块
module = {}
 
-- 定义一个常量
module.constant = "这是一个常量"
 
-- 定义一个函数
function module.func1()
    print("这是一个公有函数")
end
 
local function func2()
    print("这是一个私有函数！")
end
 
function module.func3()
    func2()
end
 
return module

1.3.1:
require 函数
require 用于 引入其他的模块，类似于java中的类要引用别的类的效果
1.3.2 引用
创建一个test_module.lua文件

-- test_module.lua 文件
-- module 模块为上文提到到 module.lua
require("module")

print(module.constant)

module.func3()

输出 lua test_module.lua

2.OpenResty介绍
2.1 安装
1 添加仓库执行命令
yum install yum-utils
yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo
2.执行安装
yum install openresty
3.安装成功后 会在默认的目录如下
/usr/local/openresty
2.2 安装nginx
修改/usr/local/openresty/nginx/conf/nginx.conf,将配置文件使用的根设置为root,目的就是将来要使用lua脚本的时候 ，直接可以加载在root下的lua脚本。
cd /usr/local/openresty/nginx/conf
vi nginx.conf
在这里插入图片描述
查询数据放入redis中
a.连接mysql ，按照广告分类ID读取广告列表，转换为json字符串。
b.连接redis，将广告列表json字符串存入redis 。
步骤
1.
移到 /root/lua目录，在该目录下创建update_content.lua： 目的就是连接mysql 查询数据 并存储到redis中。
先查询openresty本地缓存 如果 没有

再查询redis中的数据，如果没有

再查询mysql中的数据，但凡有数据 则返回即可。

在这里插入图片描述

ngx.header.content_type="application/json;charset=utf8"
local uri_args = ngx.req.get_uri_args();
local id = uri_args["id"];
--获取本地缓存
local cache_ngx = ngx.shared.dis_cache;
--根据ID 获取本地缓存数据
local contentCache = cache_ngx:get('content_cache_'..id);

if contentCache == "" or contentCache == nil then
    local redis = require("resty.redis");
    local red = redis:new()
    red:set_timeout(2000)
    red:connect("192.168.211.132", 6379)
    local rescontent=red:get("content_"..id);

    if ngx.null == rescontent then
        local cjson = require("cjson");
        local mysql = require("resty.mysql");
        local db = mysql:new();
        db:set_timeout(2000)
        local props = {
            host = "192.168.211.132",
            port = 3306,
            database = "changgou_content",
            user = "root",
            password = "123456"
        }
        local res = db:connect(props);
        local select_sql = "select url,pic from tb_content where status ='1' and category_id="..id.." order by sort_order";
        res = db:query(select_sql);
        local responsejson = cjson.encode(res);
        red:set("content_"..id,responsejson);
        ngx.say(responsejson);
        db:close()
    else
        cache_ngx:set('content_cache_'..id, rescontent, 10*60);
        ngx.say(rescontent)
    end
    red:close()
else
    ngx.say(contentCache)
end

测试地址：http://192.168.211.132/update_content?id=1

此时会将分类ID=1的所有广告查询出来，并存入到Redis缓存。
在这里插入图片描述
测试地址：http://192.168.211.132/read_content?id=1

此时会获取分类ID=1的所有广告信息。
在这里插入图片描述

nginx的限流

nginx提供两种限流的方式：

  • 一是控制速率

  • 二是控制并发连接数

1 控制速率

控制速率的方式之一就是采用漏桶算法。

(1)漏桶算法实现控制速率限流

漏桶(Leaky Bucket)算法思路很简单,水(请求)先进入到漏桶里,漏桶以一定的速度出水(接口有响应速率),当水流入速度过大会直接溢出(访问频率超过接口响应速率),然后就拒绝请求,可以看出漏桶算法能强行限制数据的传输速率.示意图如下:
在这里插入图片描述
(2)nginx的配置
修改/usr/local/openresty/nginx/conf/nginx.conf:

user  root root;
worker_processes  1;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    #cache
    lua_shared_dict dis_cache 128m;

    #限流设置
    limit_req_zone $binary_remote_addr zone=contentRateLimit:10m rate=2r/s;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    server {
        listen       80;
        server_name  localhost;

        location /update_content {
            content_by_lua_file /root/lua/update_content.lua;
        }

        location /read_content {
            #使用限流配置
            limit_req zone=contentRateLimit;
            content_by_lua_file /root/lua/read_content.lua;
        }
    }
}

配置说明：
binary_remote_addr 是一种key，表示基于 remote_addr(客户端IP) 来做限流，binary_ 的目的是压缩内存占用量。
zone：定义共享内存区来存储访问信息， contentRateLimit:10m 表示一个大小为10M，名字为contentRateLimit的内存区域。1M能存储16000 IP地址的访问信息，10M可以存储16W IP地址访问信息。
rate 用于设置最大访问速率，rate=10r/s 表示每秒最多处理10个请求。Nginx 实际上以毫秒为粒度来跟踪请求信息，因此 10r/s 实际上是限制：每100毫秒处理一个请求。这意味着，自上一个请求处理完后，若后续100毫秒内又有请求到达，将拒绝处理该请求.我们这里设置成2 方便测试。
测试：

重新加载配置文件
cd /usr/local/openresty/nginx/sbin

./nginx -s reload
(3)处理突发流量

上面例子限制 2r/s，如果有时正常流量突然增大，超出的请求将被拒绝，无法处理突发流量，可以结合 burst 参数使用来解决该问题
burst 往往结合 nodelay 一起使用
完整代码如下

user  root root;
worker_processes  1;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    #cache
    lua_shared_dict dis_cache 128m;

    #限流设置
    limit_req_zone $binary_remote_addr zone=contentRateLimit:10m rate=2r/s;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    server {
        listen       80;
        server_name  localhost;

        location /update_content {
            content_by_lua_file /root/lua/update_content.lua;
        }

        location /read_content {
            limit_req zone=contentRateLimit burst=4 nodelay;
            content_by_lua_file /root/lua/read_content.lua;
        }
    }
}

平均每秒允许不超过2个请求，突发不超过4个请求，并且处理突发4个请求的时候，没有延迟，等到完成之后，按照正常的速率处理。

控制并发量（连接数）

http {
    include       mime.types;
    default_type  application/octet-stream;

    #cache
    lua_shared_dict dis_cache 128m;

    #限流设置
    limit_req_zone $binary_remote_addr zone=contentRateLimit:10m rate=2r/s;

    #根据IP地址来限制，存储内存大小10M
    limit_conn_zone $binary_remote_addr zone=addr:1m;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    server {
        listen       80;
        server_name  localhost;
        #所有以brand开始的请求，访问本地changgou-service-goods微服务
        location /brand {
            limit_conn addr 2;
            proxy_pass http://192.168.211.1:18081;
        }

        location /update_content {
            content_by_lua_file /root/lua/update_content.lua;
        }

        location /read_content {
            limit_req zone=contentRateLimit burst=4 nodelay;
            content_by_lua_file /root/lua/read_content.lua;
        }
    }
}

limit_conn_zone $binary_remote_addr zone=addr:10m; 表示限制根据用户的IP地址来显示，设置存储地址为的内存大小10M

limit_conn addr 2; 表示 同一个地址只允许连接2次。

canal同步
canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据
Canal工作原理
在这里插入图片描述原理相对比较简单：

  1. canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
  2. mysql master收到dump请求，开始推送binary log给slave(也就是canal)
  3. canal解析binary log对象(原始为byte流)
qingwenc
关注
专栏目录
基于Redis和Nginx实现高并发缓存架构
赵广陆
01-13 4528
目录1 缓存架构设计1.1 缓存架构设计2 Redis集群高级应用3 Nginx缓存3.1 OpenRestry安装3.2 浏览器缓存3.2.1 Nginx Web缓存配置3.2.2 Http缓存控制头3.3 代理缓存3.3.1 proxy_cache3.3.2 缓存操作4 Canal的使用 1 缓存架构设计 一谈到缓存架构，很多人想到的是Redis，但其实整套体系的缓存架构并非只有Redis，而应该是多个层面多个软件结合形成一套非常良性的缓存体系。比如下面缓存架构设计就涉及到了多个层面的缓存软件。本文只
B2C电商项目（第五天、网站首页高可用nginx+lua、Lua基本语法、nginx+lua+redis、OpenResty、nginx限流、canal同步数据解决方案)
落日的博客
06-02 591
六、网站首页高可用nginx+lua 了解 Lua语言的基本语法 使用 nginx+Lua+redis实现广告缓存 掌握 nginx限流的基本使用方法 6.1、Lua介绍 Lua 是一个小巧的脚本语言。它是巴西里约热内卢天主教大学（ Pontifical Catholic University of Rio de Janeiro）里的一个由Roberto Ierusalimschy、Waldemar Celes 和 Luiz Henrique de Figueiredo三人所组成的研究小组于1993年开
ngx+lua实现前端缓存应用实例分享
03-17
ngx+lua实现前端缓存应用实例分享
畅购商城(四)：Lua、OpenResty、Canal实现广告缓存与同步
Robod的博客
07-14 2666
畅购商城(四)：Lua、OpenResty、Canal实现广告缓存与同步 介绍了Lua、OpenResty以及Canal，并实现了广告的缓存与同步功能
5. 畅购商城之Lua、Canal实现广告缓存
谢逊的博客
06-17 509
第5章 Lua、Canal实现广告缓存 1 首页分析 首页门户系统需要展示各种各样的广告数据。以京东为例： 页面中的广告一般来说变变更频率较低，对于这种数据该如何进行处理？ (1) 第一种方式 如图所示，首页访问广告服务，而广告服务从数据库中查询数据，而后返回给首页进行展示。这种方式最为简单。但是首页的访问量一般非常高，不适合直接通过MySQL数据库直接访问的方式来获取展示。 (2) 第二种方...
微服务商城系统（五）lua、Canal 实现广告缓存
weixin_41750142的博客
03-04 629
文章目录一、学习目标二、首页分析 一、学习目标 Lua 简单使用      Lua 语法 输出、变量定义、数据类型、流程控制 (if…)、循环操作、函数、表 (数组) 、模块。      Lua 用作 广告缓存操作     广告缓存载入与读取。      OpenResty 理解配置      OpenRes
canal
cyberpunk_Isme的博客
10-11 191
canal[kəˈnæl]: 运河，相当于把数据库当成河流，通过开凿运河把河流连在一起，然后使得两条河流水平面相同，即是使得两个数据库数据保持一致性 canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。 canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。 阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。 原理相对比较简单： canal模拟mysql slave的交互协议，伪装自己为mys
第17天-整合Redis缓存改造三级分类，并解决缓存击穿、穿透、雪崩、一致性问题
最新发布
zenggeweiss的博客
03-06 993
整合Redis缓存改造三级分类，并解决缓存击穿、穿透、雪崩、一致性问题
八(4)多级缓存
sweetcuter的博客
10-10 229
八(4)多级缓存
高并发 -- 多级缓存
qq_33753147的博客
08-27 844
高并发，多级缓存
畅购商城项目的数据库脚本文件
02-21
畅购商城项目的数据库脚本，主要包括changgou_business、changgou_config、changgou_goods、changgou_order、changgou_seckill、changgou_system、changgou_user
畅购商城数据库完整版
05-08
畅购商城项目的数据库脚本，主要包括changgou_all、changgou_content、changgou_oauth、changgou_business、changgou_config、changgou_goods、changgou_order、changgou_seckill、changgou_system、changgou_user 10个数据库
lua server 实现了lua脚本处理服务端逻辑+数据库
02-03
《终极网络服务端编程》的lua server 实现了lua脚本处理服务端逻辑+数据库 lua服务端 c++版服务端客户端（netserver，netclient） lua服务端 就是 c++ netserver项目的lua脚本化版 运行效果 ![image](https://github.com/344717871/lua_svr/blob/master/screenshot.png) 《终极网络服务端编程》pdf下载地址 https://pan.baidu.com/s/1qYNHwN6 http://blog.csdn.net/smwhotjay/article/details/77772402
lua、Canal实现广告缓存(1)
wuzj1314的博客
05-31 309
1.首页分析 首页门户系统需要展示各种各样的广告数据：如图，以jd为例： 广告数据变更不频繁，可能一天变一次甚至一周变一次，但是首页数据的并发量很高。所以变更频率低的数据，如何提升访问速度？ 1.静态页面 2.做缓存 基本的思路如下： 如上图此种方式 简单，直接通过数据库查询数据展示给用户即可，但是通常情况下，首页（门户系统的流量一般非常的高）不适合直接通过mysql数据库直接访问的方式来获取展示。 如下思路： 1.首先访问nginx ，我们可以采用缓存的方式，先从nginx本
Nginx+Lua+Redis实现广告缓存
轻狂书生FS的博客
02-27 2096
1、需求分析 需要在页面上显示广告的信息。 2、OpenResty 2.1、OpenResty介绍 OpenResty(又称：ngx_openresty) 是一个基于 NGINX 的可伸缩的 Web 平台，由中国人章亦春发起，提供了很多高质量的第三方模块。 OpenResty 是一个强大的 Web 应用服务器，Web 开发人员可以使用 Lua 脚本语言调动N...
OpenResty、lua实现多级缓存
毛利南的博客
11-29 732
lua安装 curl -R -O http://www.lua.org/ftp/lua-5.3.5.tar.gz tar zxf lua-5.3.5.tar.gz cd lua-5.3.5 make linux test 注意：此时安装，有可能会出现如下错误： 此时需要安装lua相关依赖库的支持，执行如下命令即可： yum install libtermcap-devel ncurses-devel libevent-devel readline-devel 此时再执行lua测试看lua是否安装成功
LUA&Canal&OpenResty
qq_42059426的博客
07-05 403
LUA 简介 lua是一个小巧的脚本语言,LUA不适合作为独立开发应用程序的语言,其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能 一般数据库连接是层层递进的,但是这样做性能不高,但有了LUA之后,我们甚至不需要Java代码,直接从nginx连接数据库 先从nginx获取数据,如果没有(nginx本身是有缓存的) 再通过LUA连接到redis中获取数据,如果没有 再通过LUA连接到mysqsl,查询数据,压入redis 特性 支持面向过程编程,和函数式编程 自动内存管理 语言内置
Cocos2d-x lua 集成芒果广告平台
wuzhongchao的专栏
01-05 1315
用cocos2d-x lua开发完一个程序之后，要想在iOS端和Android端同时嵌入广告，是一件很麻烦的事情，如果还需要嵌入多家广告平台的SDK那就更蛋疼了，所以选择使用芒果广告平台来做广告集成，至于芒果广告平台是什么东东，还不了解的就自行百度谷歌吧,这里简单说就是一个广告平台的聚合平台，里面聚合了很多其他的广告平台，比如admob，百度，广点通。 芒果广告平台自己的SDK提供了各个版本的，
畅购商城三：Lua与canal
Mactavish_Cui的博客
12-17 2507
Lua实现广告缓存 缓存架构 设置两级缓存，分别是Nginx缓存和redis缓存，通过lua脚本进行查询与分支 缓存实现 编写lua脚本，通过Nginx的配置文件进行配置，这里使用的是OpenResty，是一个可伸缩的web平台，可以理解成封装了Nginx集成了lua脚本 Nginx限流 控制速率进行限流 限流算法 漏桶算法（Nginx所采用的） 令牌桶算法 Nginx限速限流配置 控制并发连接数 ...
Lua、OpenResty与Canal实现广告缓存同步方案
"该文档介绍了如何使用Lua、OpenResty和Canal来实现首页广告的缓存与同步机制，以提高系统性能。广告数据存储在名为changgou-content的数据库中，包括tb_content_category（广告分类表）和tb_content（广告表）两张...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值