LUA&Canal&OpenResty

LUA

简介

lua是一个小巧的脚本语言,LUA不适合作为独立开发应用程序的语言,其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能

一般数据库连接是层层递进的,但是这样做性能不高,但有了LUA之后,我们甚至不需要Java代码,直接从nginx连接数据库

• 先从nginx获取数据,如果没有(nginx本身是有缓存的)
• 再通过LUA连接到redis中获取数据,如果没有
• 再通过LUA连接到mysqsl,查询数据,压入redis

特性

• 支持面向过程编程,和函数式编程
• 自动内存管理
• 语言内置模式匹配,闭包,提供多线程(协同进程,并非操作系统所支持的线程)
• 通过闭包和table可以很方便的支持面向对象编程所需要的一些关键机制,比如数据抽象,虚拟数,继承和重载等

应用场景

• redis中嵌套调用实现类似事务的功能
• web容器中应用处理一些过滤,缓存等逻辑

OpenResty

介绍

OpenResty是一个强大的Web应用服务器,可以胜任10K以上的并发量

OpenResty就是一个基于nginx的高性能的web服务器,提供了很多的lua的脚本模块,直接使用即可,不需要开发模块了

使用LUA和OpenResty

分析:

• 页面发送一个请求,openResty/nginx接收到请求之后
• 将改请求发送到数据库中,数据库将数据查询出来放到redis中

开发步骤:

• 配置nginx的配置项,用于接收请求路径,转发请求给lua脚本处理
• 创建lua脚本,调用mysql的模块 调用redis的模块

ngx.header.content_type="application/json;charset=utf8"
local cjson = require("cjson")  
local mysql = require("resty.mysql")  
local uri_args = ngx.req.get_uri_args()
local id = uri_args["id"]

local db = mysql:new()
db:set_timeout(1000)
local props = {
    host = "192.168.211.132",
    port = 3306,
    database = "changgou_content",
    user = "root",
    password = "123456"
}

local res = db:connect(props)
local select_sql = "select url,pic from tb_content where status ='1' and category_id="..id.." order by sort_order"
res = db:query(select_sql)
db:close()

local redis = require("resty.redis")
local red = redis:new()
red:set_timeout(2000)

local ip ="192.168.211.132"
local port = 6379
red:connect(ip,port)
red:set("content_"..id,cjson.encode(res))
red:close()

ngx.say("{flag:true}")

nginx限流

• 控制速率
• 控制并发连接数

控制速率

采用漏桶算法

 #限流设置
    limit_req_zone $binary_remote_addr zone=contentRateLimit:10m rate=10r/s;

    #根据IP地址来限制，存储内存大小10M
    limit_conn_zone $binary_remote_addr zone=addr:10m;

    #个人IP显示
    limit_conn_zone $binary_remote_addr zone=perip:10m;
    #针对整个服务所有的并发量控制
    limit_conn_zone $server_name zone=perserver:10m;

binary_remote_addr 是一种key，表示基于 remote_addr(客户端IP) 来做限流，binary_ 的目的是压缩内存占用量。
zone：定义共享内存区来存储访问信息， contentRateLimit:10m 表示一个大小为10M，名字为contentRateLimit的内存区域。1M能存储16000 IP地址的访问信息，10M可以存储16W IP地址访问信息。
rate 用于设置最大访问速率，rate=10r/s 表示每秒最多处理10个请求。Nginx 实际上以毫秒为粒度来跟踪请求信息，因此 10r/s 实际上是限制：每100毫秒处理一个请求。这意味着，自上一个请求处理完后，若后续100毫秒内又有请求到达，将拒绝处理该请求

处理突发流量

如果流量突发,那我们可以使用burst参数解决该问题

server {
    listen       80;
    server_name  localhost;
    location /update_content {
        content_by_lua_file /root/lua/update_content.lua;
    }
    location /read_content {
        limit_req zone=contentRateLimit burst=4;
        content_by_lua_file /root/lua/read_content.lua;
    }
}

此处burst=4 若同时有4个请求到达,Nginx会处理第一个请求,剩余3个放到队列,等到处理完了,再从队列中获取下一个请求进行处理,一般与上面漏桶算法配合使用,100毫秒处理一个请求,同时来4个请求只需要4毫秒

控制并发量

ngx_http_limit_conn_module 提供了限制连接数的能力。主要是利用limit_conn_zone和limit_conn两个指令。

利用连接数限制 某一个用户的ip连接的数量来控制流量。

注意：并非所有连接都被计算在内 只有当服务器正在处理请求并且已经读取了整个请求头时，才会计算有效连接。此处忽略测试。

配置语法：

Syntax:	limit_conn zone number;
Default: —;
Context: http, server, location;

Canal

canal是阿里巴巴开源处理的一款数据库监听的软件

package com.changgou.listener;/*
@Author:李正铠
@Date:2020年05月09日23时40分
*/

import com.alibaba.otter.canal.protocol.CanalEntry;
import com.xpand.starter.canal.annotation.CanalEventListener;
import com.xpand.starter.canal.annotation.InsertListenPoint;
import com.xpand.starter.canal.annotation.ListenPoint;
import com.xpand.starter.canal.annotation.UpdateListenPoint;

@CanalEventListener
public class CanalDataEventListener {

    /**
     * 增加数据监听
     * @param eventType
     * @param rowData
     */
    @InsertListenPoint
    public void onEventInsert(CanalEntry.EventType eventType,CanalEntry.RowData rowData){
        rowData.getAfterColumnsList().forEach((column ->
                System.out.println("By--Annotation:"+column.getName()+"::"+column.getValue())));
    }

    /**
     * 修改数据监听
     * @param rowData
     */
    @UpdateListenPoint
    public void onEventUpdate(CanalEntry.RowData rowData){
        System.out.println("UpdaeListenPoint");
        rowData.getAfterColumnsList().forEach(column -> System.out.println("by--Annotation"+column.getName()+"::"+column.getValue()));
    }


    /**
     * 自定义数据修改监听
     * @param eventType
     * @param rowData
     */
    @ListenPoint(destination = "example",schema = "changgou_content",
    table = {"tb_content_category","tb_content"},eventType = CanalEntry.EventType.UPDATE)
    public void onEventCustomUpdate(CanalEntry.EventType eventType,CanalEntry.RowData rowData){
        System.out.println("DeleteListenPoint");
        rowData.getAfterColumnsList().forEach(column -> System.out.println("By--Annotation:"+column.getName()+"::"+column.getValue()));
    }

}

起步引导类添加的注解

@SpringBootApplication(exclude = {DataSourceAutoConfiguration.class})
@EnableCanalClient

#canal配置
canal:
  client:
    instances:
      example:
        host: 192.168.211.132
        port: 11111