Nginx——openresty配置与实战

庄小焱

已于 2023-03-28 07:47:01 修改

阅读量1.5k

点赞数

分类专栏： Nginx 文章标签： lua nginx 开发语言

于 2023-03-26 14:06:35 首次发布

未经同意窃取和转载我的内容，如果涉及到权益问题，后果自负！

本文链接：https://blog.csdn.net/weixin_41605937/article/details/129778319

版权

Nginx 专栏收录该内容

16 篇文章 1 订阅

订阅专栏

摘要

Lua 是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放，其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。Lua 是巴西里约热内卢天主教大学（Pontifical Catholic University of Rio de Janeiro）里的一个研究小组于 1993 年开发的，该小组成员有：Roberto Ierusalimschy、Waldemar Celes 和 Luiz Henrique de Figueiredo。

一、lua、luajit、openresty

1.1 Lua 特性

轻量级: 它用标准C语言编写并以源代码形式开放，编译后仅仅一百余K，可以很方便的嵌入别的程序里。
可扩展: Lua提供了非常易于使用的扩展接口和机制：由宿主语言(通常是C或C++)提供这些功能，Lua可以使用它们，就像是本来就内置的功能一样。
其它特性:
- 支持面向过程(procedure-oriented)编程和函数式编程(functional programming)；
- 自动内存管理；只提供了一种通用类型的表（table），用它可以实现数组，哈希表，集合，对象；
- 语言内置模式匹配；闭包(closure)；函数也可以看做一个值；提供多线程（协同进程，并非操作系统所支持的线程）支持；
- 通过闭包和table可以很方便地支持面向对象编程所需要的一些关键机制，比如数据抽象，虚函数，继承和重载等。

Lua 应用场景

游戏开发
独立应用脚本
Web 应用脚本
扩展和数据库插件如：MySQL Proxy 和 MySQL WorkBench
安全系统，如入侵检测系统

1.2 LuaJIT(Lua解释器)

LuaJIT的运行环境包括一个用手写汇编实现的Lua解释器和一个可以直接生成机器代码的JIT编译器。Lua代码在被执行之前总是会先被lfn生成LuaJIT自己定义的字节码ByteCode。

开始时Lua字节码总是被LuaJIT的解释器解释执行，LuaJIT的解释器会在执行字节码时同时记录一些运行时的统计信息，如每个Lua函数调用入口的实际运行次数，还有每个Lua循环的实际执行次数。当这些次数超过某个预设的阈值时，便认为对应的Lua函数入口或对应的Lua循环足够的热，此时便会触发JIT编译器开始工作。

JIT编译器会从热函数的入口或热循环的某个位置开始尝试编译对应的Lua代码路径，编译的过程是把LuaJIT字节码先转换成LuaJIT自己定义的中间码（IR），然后再生成针对目标体系结构的机器码，如x86_64指令组成的机器码。如果当前Lua代码路径上的所有操作都可以被JIT编译器顺利编译，则这条编译过的代码路径便被称为一个trace，在物理上对应一个trace类型的GC对象，即参与Lua GC的对象。

1.3 OpenResty

OpenResty® 是一个基于Nginx与Lua 的高性能 Web平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

OpenResty® 通过汇聚各种设计精良的Nginx模块（主要由 OpenResty 团队自主开发），从而将 Nginx有效地变成一个强大的通用 Web 应用平台。这样，Web 开发人员和系统工程师可以使用 Lua 脚本语言调动 Nginx支持的各种 C 以及 Lua 模块，快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统。

OpenResty® 的目标是让你的Web服务直接跑在Nginx服务内部，充分利用 Nginx 的非阻塞 I/O 模型，不仅仅对 HTTP 客户端请求,甚至于对远程后端诸如 MySQL、PostgreSQL、Memcached 以及 Redis 等都进行一致的高性能响应。

下面是在我的ThinkPad T400笔记本电脑上使用ab -c10 -n50000 http://localhost:8080/ 命令的结果，ngx_openresty 0.8.54.6：

----------------------------------------------------------------------

Server Software:        ngx_openresty/0.8.54
Server Hostname:        localhost
Server Port:            8080

Document Path:          /
Document Length:        20 bytes

Concurrency Level:      10
Time taken for tests:   2.459 seconds
Complete requests:      50000
Failed requests:        0
Write errors:           0
Total transferred:      8550342 bytes
HTML transferred:       1000040 bytes
Requests per second:    20335.69 [#/sec] (mean)
Time per request:       0.492 [ms] (mean)
Time per request:       0.049 [ms] (mean, across all concurrent requests)
Transfer rate:          3396.04 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.1      0       8
Processing:     0    0   0.2      0       8
Waiting:        0    0   0.1      0       8
Total:          0    0   0.2      0       8

Percentage of the requests served within a certain time (ms)
  50%      0
  66%      0
  75%      0
  80%      0
  90%      1
  95%      1
  98%      1
  99%      1
 100%      8 (longest request)

二、openresty连接mysql

2.1 centos 安装mysql服 server

# Centos系统下安装mysql

cd /usr/downloads/

wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

rpm -ivh mysql-community-release-el7-5.noarch.rpm

yum install mysql-community-server

# 安装成功后，重启mysql，并进入mysql数据库，给root用户设置一个密码，密码为“123”。

service mysqld restart

mysql -u root -p

set password for root@localhost = password('123');

2.2 openresty连接mysql server

lua-resty-mysql模块是基于cosocket API 为ngx_lua提供的一个Lua MySQL客户端。它保证了100%非阻塞。vim /usr/example/lua/test_mysql.lua，添加以下的代码：

local function close_db(db)  
    if not db then  
        return  
    end  
    db:close()  
end  
  
local mysql = require("resty.mysql")  
 
local db, err = mysql:new()  
if not db then  
    ngx.say("new mysql error : ", err)  
    return  
end  

db:set_timeout(1000)  
  
local props = {  
    host = "127.0.0.1",  
    port = 3306,  
    database = "mysql",  
    user = "root",  
    password = "123"  
}  
  
local res, err, errno, sqlstate = db:connect(props)  
  
if not res then  
   ngx.say("connect to mysql error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
   return close_db(db)  
end  
 
local drop_table_sql = "drop table if exists test"  
res, err, errno, sqlstate = db:query(drop_table_sql)  
if not res then  
   ngx.say("drop table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
   return close_db(db)  
end  
  

local create_table_sql = "create table test(id int primary key auto_increment, ch varchar(100))"  
res, err, errno, sqlstate = db:query(create_table_sql)  
if not res then  
   ngx.say("create table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
   return close_db(db)  
end  
  

local insert_sql = "insert into test (ch) values('hello')"  
res, err, errno, sqlstate = db:query(insert_sql)  
if not res then  
   ngx.say("insert error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
   return close_db(db)  
end  
  
res, err, errno, sqlstate = db:query(insert_sql)  
  
ngx.say("insert rows : ", res.affected_rows, " , id : ", res.insert_id, "<br/>")  
  
 
local update_sql = "update test set ch = 'hello2' where id =" .. res.insert_id  
res, err, errno, sqlstate = db:query(update_sql)  
if not res then  
   ngx.say("update error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
   return close_db(db)  
end  
  
ngx.say("update rows : ", res.affected_rows, "<br/>")  
  
local select_sql = "select id, ch from test"  
res, err, errno, sqlstate = db:query(select_sql)  
if not res then  
   ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
   return close_db(db)  
end  
  
  
for i, row in ipairs(res) do  
   for name, value in pairs(row) do  
     ngx.say("select row ", i, " : ", name, " = ", value, "<br/>")  
   end  
end  
  
ngx.say("<br/>")  
  
local ch_param = ngx.req.get_uri_args()["ch"] or ''  
 
local query_sql = "select id, ch from test where ch = " .. ngx.quote_sql_str(ch_param)  
res, err, errno, sqlstate = db:query(query_sql)  
if not res then  
   ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
   return close_db(db)  
end  
  
for i, row in ipairs(res) do  
   for name, value in pairs(row) do  
     ngx.say("select row ", i, " : ", name, " = ", value, "<br/>")  
   end  
end  
  

local delete_sql = "delete from test"  
res, err, errno, sqlstate = db:query(delete_sql)  
if not res then  
   ngx.say("delete error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
   return close_db(db)  
end  
  
ngx.say("delete rows : ", res.affected_rows, "<br/>")  
  
close_db(db)

vim /usr/example/example.conf 在配置文件配置：

location /lua_mysql {
   default_type 'text/html';
   lua_code_cache on;
   content_by_lua_file /usr/example/lua/test_mysql.lua;
 }

浏览器访问http://ip/lua_mysql，浏览器显示以下的内容：

insert rows : 1 , id : 2
update rows : 1
select row 1 : ch = hello
select row 1 : id = 1
select row 2 : ch = hello2
select row 2 : id = 2

delete rows : 2

三、openresty连接redis

连接redis集群需要用到 lua-resty-redis-cluster模块, 下载完成之后，只需要用到包中的2个文件rediscluster.lua和redis_slot.c 复制包中的 redis_slot.c 到openresty安装目录的lualib下,rediscluster.lua到lualib下的resty下 .c文件无法在Nginx配置文件中引入，需要编译成**.so**文件，编译命令。

3.1 centos 安装redis server

# 安装gcc、c++编译器以及内核文件

yum -y install gcc gcc-c++ kernel-devel

# centos自带lua需要执行此命令再编译，自己安装过lua不需要

yum install lua-devel
 
#编译命令

gcc redis_slot.c -fPIC -shared -o libredis_slot.so
 
#查看结果

ll

nginx.conf配置文件中http下添加

#lua模块路径，多个之间”;”分隔，其中”;;”表示默认搜索路径，默认到/usr/servers/nginx下找  

lua_package_path "/opt/openresty/lualib/?.lua;;/opt/openresty/nginx/conf/openResty/?.lua;;"; #lua 模块

lua_package_cpath "/opt/openresty/lualib/?.so;";

include /opt/openresty/nginx/conf/openResty/openResty.conf;

#user  nobody;
worker_processes  1;
 
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
 
#pid        logs/nginx.pid;
 
 
events {
    worker_connections  1024;
}
 
 
http {
    include       mime.types;
    default_type  application/octet-stream;
 
    #日志格式
    log_format my_format '$remote_addr^A$msec^A$http_host^A$request_uri';
 
 
    #access_log  logs/access.log  main;
 
    sendfile        on;
    #tcp_nopush     on;
 
    #keepalive_timeout  0;
    keepalive_timeout  65;
 
    upstream lua.redis.com{
        server 192.168.164.25:8090;
    }
 
    #gzip  on;
 
    #lua模块路径，多个之间”;”分隔，其中”;;”表示默认搜索路径，默认到/usr/servers/nginx下找  
    lua_package_path "/opt/openresty/lualib/?.lua;;/opt/openresty/nginx/conf/openResty/?.lua;;"; #lua 模块
    lua_package_cpath "/opt/openresty/lualib/?.so;";
    include /opt/openresty/nginx/conf/openResty/openResty.conf;
}

/opt/openresty/nginx/conf/openResty目录下新增openResty.conf

server {
    listen       80;
    server_name  lua.redis.com;
    
    #单机版redis
    location /lua_redis_single {
        default_type 'text/html';
        charset utf-8;
        lua_code_cache off;
        content_by_lua_file conf/openResty/lua/redis/redis-util.lua;
    }    
    
    #集群版redis
    location /lua_redis {
        default_type 'text/html';
        charset utf-8;
        lua_code_cache off;
        content_by_lua_file conf/openResty/lua/redis/redis-cluster.lua;
    }
 
    #redis中k为空则将请求转发到当前后台服务器进行查询
    location /redis {
        default_type 'text/plain';
        proxy_pass http://lua.redis.com;
    }
}

3.2 openresty连接redis server

连接单机版REDIS,redis-util.lua

local function close_redes( red )
  if not red then
    return
  end
  -- 释放连接（连接池实现）
  local pool_max_idle_time = 10000 -- 毫秒
  local pool_size = 100 --连接池大小
  local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
  if not ok then
    ngx.say("set keepalive error : ", err)
  end
end
 
local redis = require("resty.redis")
 
-- 创建实例
local red = redis:new()
-- 设置超时(毫秒)
red:set_timeout(2000)
-- 建立连接
local ip = "192.168.2.110"
local port = 6379
local ok, err = red:connect(ip, port)
if not ok then
  return
end
local res, err = red:auth("jinku_redis")
if not res then
  ngx.say("connect to redis error : ", err)
  return
end
 
-- 选择db 3
ok, err = red:select(3)  
if not ok then
    ngx.say("failed to select db: ", err)
    return
end
 
red:init_pipeline()
red:set("msg1", "hello1")
red:set("msg2", "hello2")
red:get("msg1")
red:get("msg2")
local respTable, err = red:commit_pipeline()
 
-- 得到数据为空处理
if respTable == ngx.null then
  respTable = {}
end
 
-- 结果是按照执行顺序返回的一个table
for i, v in ipairs(respTable) do
  ngx.say("msg : ", v, "<br/>")
end
 
close_redes(red)

/opt/openresty/nginx/conf/openResty/lua/redis目录下新增redis-cluster.lua

local config = {
	name = "test",
	serv_list = {
	    {ip="192.168.164.24", port = 7000},
	    {ip="192.168.164.24", port = 7001},
	    {ip="192.168.164.24", port = 7002},
	    {ip="192.168.164.24", port = 7003},
	    {ip="192.168.164.24", port = 7004},
	    {ip="192.168.164.24", port = 7005},
	}
}
 
-- 获取连接
local redis_cluster = require "resty.rediscluster"
local red = redis_cluster:new(config)
 
--Nginx服务器中使用lua获取get或post参数
local request_method = ngx.var.request_method
local args = nil
local param = nil
 
--获取url参数的值
if "GET" == request_method then
    args = ngx.req.get_uri_args()
elseif "POST" == request_method then
    ngx.req.read_body()
    args = ngx.req.get_post_args()
end
param = args["k"]
 
-- 使用pipeline操作业务
-- red:init_pipeline()
local result=red:get(param)
-- local results = red:commit_pipeline()
local cjson = require "cjson"
 
if result == ngx.null then
        -- 转发到后台tomcat服务器去查询并且缓存
        local resp = ngx.location.capture("/redis/getV?k="..param)
        result = resp.body
end
 
ngx.say(cjson.encode(result))
 
red:close()

访问 http://lua.redis.com/lua_redis?k=myName请求lua_redis， http://lua.redis.com/redis/getV?k=myName 跳过lua_redis，直接访问redis springboot工程

博文参考

优化超大 Nginx 配置导致的内存碎片 - OpenResty 官方博客

lua-resty-template: 适用于Lua和OpenResty的模板引擎（HTML）。

GitHub - openresty/lua-resty-redis: Lua redis client driver for the ngx_lua based on the cosocket API

GitHub - openresty/lua-resty-mysql: Nonblocking Lua MySQL driver library for ngx_lua or OpenResty

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
Nginx——openresty配置与实战

Lua 是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放，其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。Lua 是巴西里约热内卢天主教大学（Pontifical Catholic University of Rio de Janeiro）里的一个研究小组于 1993 年开发的，该小组成员有：Roberto Ierusalimschy、Waldemar Celes 和 Luiz Henrique de Figueiredo。
复制链接

扫一扫