大数据埋点方案Openresty+Nginx+Lua踩坑日志

在做埋点采集方案的时候,直接采用Openresty进行数据采集

手撸Java代码性能较差,直接使用第三方框架进行数据采集处理。

其中需要应用到lua-zlib模块进行gz的压缩文件解压;

lua-zlib的安装过程如下:

wget https://github.com/brimworks/lua-zlib/archive/master.zip
unzip master.zip
cd lua-zlib-master/
cmake -DLUA_INCLUDE_DIR=/usr/local/openresty/luajit/include/luajit-2.1 -DLUA_LIBRARIES=/usr/local/openresty/luajit/lib -DUSE_LUAJIT=ON -DUSE_LUA=OFF
make
    

确保luajit的依赖存在,在cmake检查的时候会显示出来;

执行make后会在编译主目录下生成zlib.so文件

将zlib.so文件放到openresty的lualib目录下,供全局加载到

 cp zlib.so /usr/local/openresty/lualib/

然后在代码里面就可以使用了

 location /deal_data {
            lua_need_request_body on;
            content_by_lua_block {
                -- 加载lua-zlib库
                local zlib = require "zlib"
                
                -- 读取请求体
                ngx.req.read_body()

                -- 获取请求体数据
                local request_body = ngx.req.get_body_data()

                -- 检查是否有数据
                if not request_body then
                    ngx.log(ngx.ERROR, "No request body found.")
                    return ngx.exit(400)
                end

                -- 解压数据
                local stream = zlib.inflate()
                local r=stream(request_body);
                
               -- ngx.req.set_body_data(r);
                if err then
                    ngx.log(ngx.ERROR, "Failed to decompress GZIP data: ", err)
                    return ngx.exit(500)
                end

                -- 设置响应头
                ngx.header.content_type = 'application/json'

                -- 输出解压后的数据
                ngx.say(r)
                return ngx.exit(200)
            }
        }

至此完成解压工作;

容易踩坑点:询问gbt的时候会提示使用nginx的with-http_gunzip_module模块,设置gunzip on;来自动解压,但是尝试多次后都无法成功。有成功的可以分享下经验哈。

翻看了一些资料,个人理解是 其实with-http_gunzip_module模块是帮前端进行解压的,比如nginx location代理接口进行了gz数据压缩,代理一层的对外接口就可以自动解压了。另外下图资料也说明了假如正向解压有可能遭受网络工具,消耗系统资源

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值