openresty开发系列24--openresty中lua的引入及使用

openresty开发系列24--openresty中lua的引入及使用

openresty 引入 lua

一）openresty中nginx引入lua方式

  1）xxx_by_lua   --->字符串编写方式
  2) xxx_by_lua_block ---->代码块方式
  3) xxx_by_lua_file  ---->直接引用一个lua脚本文件

我们案例中使用内容处理阶段，用content_by_lua演示

-----------------编辑nginx.conf-----------------------

第一种：content_by_lua

location /testlua {
  content_by_lua "ngx.say('hello world')";
}

输出了hello world

content_by_lua 方式，参数为字符串，编写不是太方便。

----------------------------------------

第二种：content_by_lua_block
location /testlua {
  content_by_lua_block {
       ngx.say("hello world");
  }
}

content_by_lua_block {}  表示内部为lua块，里面可以应用lua语句

----------------------------------------

第三种：content_by_lua_file

location /testlua {
  content_by_lua_file /usr/local/lua/test.lua;
}

content_by_lua_file 就是引用外部lua文件

# vi  test.lua
ngx.say("hello world");


二）openresty使用lua打印输出案例

  location /testsay {
    content_by_lua_block {
        --写响应头  
        ngx.header.a = "1"  
        ngx.header.b = "2"
        --输出响应  
        ngx.say("a", "b", "<br/>")  
        ngx.print("c", "d", "<br/>")  
        --200状态码退出  
        return ngx.exit(200)
    }
  }

  ngx.header：输出响应头；
  ngx.print：输出响应内容体；
  ngx.say：通ngx.print，但是会最后输出一个换行符；
  ngx.exit：指定状态码退出。

三）介绍一下openresty使用lua常用的api

1）ngx.var ： 获取Nginx变量 和 内置变量

nginx内置的变量

$arg_name 请求中的name参数
$args 请求中的参数
$binary_remote_addr 远程地址的二进制表示
$body_bytes_sent  已发送的消息体字节数
$content_length HTTP请求信息里的"Content-Length"
$content_type 请求信息里的"Content-Type"
$document_root  针对当前请求的根路径设置值
$document_uri 与$uri相同; 比如 /test2/test.php
$host 请求信息中的"Host"，如果请求中没有Host行，则等于设置的服务器名
$hostname 机器名使用 gethostname系统调用的值
$http_cookie  cookie 信息
$http_referer 引用地址
$http_user_agent  客户端代理信息
$http_via 最后一个访问服务器的Ip地址。
$http_x_forwarded_for 相当于网络访问路径
$is_args  如果请求行带有参数，返回"?"，否则返回空字符串
$limit_rate 对连接速率的限制
$nginx_version  当前运行的nginx版本号
$pid  worker进程的PID
$query_string 与$args相同
$realpath_root  按root指令或alias指令算出的当前请求的绝对路径。其中的符号链接都会解析成真是文件路径
$remote_addr  客户端IP地址
$remote_port  客户端端口号
$remote_user  客户端用户名，认证用
$request  用户请求
$request_body 这个变量（0.7.58+）包含请求的主要信息。在使用proxy_pass或fastcgi_pass指令的location中比较有意义
$request_body_file  客户端请求主体信息的临时文件名
$request_completion 如果请求成功，设为"OK"；如果请求未完成或者不是一系列请求中最后一部分则设为空
$request_filename 当前请求的文件路径名，比如/opt/nginx/www/test.php
$request_method 请求的方法，比如"GET"、"POST"等
$request_uri  请求的URI，带参数; 比如http://localhost:88/test1/
$scheme 所用的协议，比如http或者是https
$server_addr  服务器地址，如果没有用listen指明服务器地址，使用这个变量将发起一次系统调用以取得地址(造成资源浪费)
$server_name  请求到达的服务器名
$server_port  请求到达的服务器端口号
$server_protocol  请求的协议版本，"HTTP/1.0"或"HTTP/1.1"
$uri  请求的URI，可能和最初的值有不同，比如经过重定向之类的

ngx.var.xxx

location /var {
    set $c 3;

    #处理业务
    content_by_lua_block {
      local a = tonumber(ngx.var.arg_a) or 0
      local b = tonumber(ngx.var.arg_b) or 0
      local c = tonumber(ngx.var.c) or 0
      ngx.say("sum:", a + b + c )
    }
}

注意：ngx.var.c 此变量必须提前声明；
另外对于nginx location中使用正则捕获的捕获组可以使用ngx.var[捕获组数字]获取；

location ~ ^/var/([0-9]+) {
   content_by_lua_block {
    ngx.say("var[1]:", ngx.var[1] )
  }
}

2）ngx.req请求模块的常用api

   ngx.req.get_headers：获取请求头，
   获取带中划线的请求头时请使用如headers.user_agent这种方式；如果一个请求头有多个值，则返回的是table；

-----------test.lua-------------------

local headers = ngx.req.get_headers()  
ngx.say("============headers begin===============", "<br/>")  
ngx.say("Host : ", headers["Host"], "<br/>")  
ngx.say("headers['user-agent'] : ", headers["user-agent"], "<br/>")  
ngx.say("headers.user_agent : ", headers.user_agent, "<br/>")
ngx.say("-------------遍历headers-----------", "<br/>")
for k,v in pairs(headers) do  
    if type(v) == "table" then  
        ngx.say(k, " : ", table.concat(v, ","), "<br/>")  
    else  
        ngx.say(k, " : ", v, "<br/>")  
    end  
end  
ngx.say("===========headers end============", "<br/>")  
ngx.say("<br/>")  



3）获取请求参数
  ngx.req.get_uri_args：获取url请求参数，其用法和get_headers类似；
  ngx.req.get_post_args：获取post请求内容体，其用法和get_headers类似，
                         但是必须提前调用ngx.req.read_body()来读取body体
                         （也可以选择在nginx配置文件使用lua_need_request_body on;开启读取body体，
                           但是官方不推荐）；

  ngx.req.get_body_data：为解析的请求body体内容字符串。

---------------test.lua---------------

--get请求uri参数  
ngx.say("===========uri get args begin==================", "<br/>")  
local uri_args = ngx.req.get_uri_args()  
for k, v in pairs(uri_args) do  
    if type(v) == "table" then  
        ngx.say(k, " : ", table.concat(v, ", "), "<br/>")  
    else  
        ngx.say(k, ": ", v, "<br/>")  
    end  
end  
ngx.say("===========uri get args end==================", "<br/>")
 
--post请求参数  
ngx.req.read_body()  
ngx.say("=================post args begin====================", "<br/>")  
local post_args = ngx.req.get_post_args()  
for k, v in pairs(post_args) do  
    if type(v) == "table" then  
        ngx.say(k, " : ", table.concat(v, ", "), "<br/>")  
    else  
        ngx.say(k, ": ", v, "<br/>")  
    end  
end  
ngx.say("================post args end=====================", "<br/>")  
 

4) ngx.req其他常用的api
--请求的http协议版本  
ngx.say("ngx.req.http_version : ", ngx.req.http_version(), "<br/>")  
--请求方法  
ngx.say("ngx.req.get_method : ", ngx.req.get_method(), "<br/>")  
--原始的请求头内容  
ngx.say("ngx.req.raw_header : ",  ngx.req.raw_header(), "<br/>")  
--请求的body内容体  
ngx.say("ngx.req.get_body_data() : ", ngx.req.get_body_data(), "<br/>")  
ngx.say("<br/>")  

ngx.req.raw_header()这个函数返回值为字符串

5）编码解码

ngx.escape_uri/ngx.unescape_uri ： uri编码解码；

ngx.encode_args/ngx.decode_args：参数编码解码；

ngx.encode_base64/ngx.decode_base64：BASE64编码解码；

-------test.lua

--未经解码的请求uri  
local request_uri = ngx.var.request_uri;  
ngx.say("request_uri : ", request_uri, "<br/>");

--编码
local escape_uri = ngx.escape_uri(request_uri)
ngx.say("escape_uri : ", escape_uri, "<br/>");

--解码  
ngx.say("decode request_uri : ", ngx.unescape_uri(escape_uri), "<br/>");

--参数编码
local request_uri = ngx.var.request_uri;
local question_pos, _ = string.find(request_uri, '?')
if question_pos>0 then
  local uri = string.sub(request_uri, 1, question_pos-1)
  ngx.say("uri sub=",string.sub(request_uri, question_pos+1),"<br/>");
 
  --对字符串进行解码
  local args = ngx.decode_args(string.sub(request_uri, question_pos+1))
 
  for k,v in pairs(args) do
    ngx.say("k=",k,",v=", v, "<br/>");
  end
 
  if args and args.userId then
    args.userId = args.userId + 10000
    ngx.say("args+10000 : ", uri .. '?' .. ngx.encode_args(args), "<br/>");
  end
end

6）md5加密api
--MD5  
ngx.say("ngx.md5 : ", ngx.md5("123"), "<br/>")  

7）nginx获取时间

之前介绍的os.time()会涉及系统调用，性能比较差，推荐使用nginx中的时间api

ngx.time()  --返回秒级精度的时间戳
ngx.now()   --返回毫秒级精度的时间戳

就是通过这两种方式获取到的只是nginx缓存起来的时间戳，不是实时的。
所以有时候会出现一些比较奇怪的现象，比如下面代码：

local t1 = ngx.now()
for i=1,1000000 do
end
local t2 = ngx.now()
ngx.say(t1, ",", t2) -- t1和t2的值是一样的，why？
ngx.exit(200)

正常来说，t2应该大于t1才对，但由于nginx没有及时更新（缓存的）时间戳，所以导致t2和t1获取到的时间戳是一样的。
那么怎样才能强迫nginx更新缓存呢？调用多一个ngx.update_time()函数即可：

local t1 = ngx.now()
for i=1,1000000 do
end
ngx.update_time()
local t2 = ngx.now()
ngx.say(t1, ",", t2)
ngx.exit(200)

8）ngx.re模块中正则表达式相关的api

ngx.re.match
ngx.re.sub
ngx.re.gsub
ngx.re.find
ngx.re.gmatch

我们这里只简单的介绍 ngx.re.match，详细用法可以自行去网上学习

ngx.re.match
只有第一次匹配的结果被返回，如果没有匹配，则返回nil；或者匹配过程中出现错误时，
也会返回nil，此时错误信息会被保存在err中。

当匹配的字符串找到时，一个Lua table captures会被返回，
captures[0]中保存的就是匹配到的字串，
captures[1]保存的是用括号括起来的第一个子模式（捕获分组）的结果，
captures[2]保存的是第二个子模式（捕获分组）的结果，依次类似。

---------------------

local m, err = ngx.re.match("hello, 1234", "[0-9]+")
if m then
  ngx.say(m[0])
else
  if err then
    ngx.log(ngx.ERR, "error: ", err)
    return
  end

  ngx.say("match not found")
end

上面例子中，匹配的字符串是1234，因此m[0] == "1234"，
--------------

local m, err = ngx.re.match("hello, 1234", "([0-9])[0-9]+")
ngx.say(m[0],"<br/>")
ngx.say(m[1])


---------------------------------------------------------


备注：有没有注意到，我们每次修改都要重启nginx，这样太过于麻烦，我们可以用
content_by_lua_file 引入外部lua，这样的话 只要修改外部的lua，就可以了，不需要重启nginx了。
注意需要把lua_code_cache 设置为off，实际生产环境是需要设置为on的

语法：lua_code_cache on | off
默认： on
适用上下文：http、server、location、location if
这个指令是指定是否开启lua的代码编译缓存，开发时可以设置为off，以便lua文件实时生效，
如果是生产线上，为了性能，建议开启。
最终nginx.conf修改为

以后我们只要修改test.lua 文件就可以了。

**********生产环境不建议修改

9）标准日志输出

ngx.log(log_level, ...)

日志输出级别

ngx.STDERR     -- 标准输出
ngx.EMERG      -- 紧急报错
ngx.ALERT      -- 报警
ngx.CRIT       -- 严重，系统故障，触发运维告警系统
ngx.ERR        -- 错误，业务不可恢复性错误
ngx.WARN       -- 告警，业务中可忽略错误
ngx.NOTICE     -- 提醒，业务比较重要信息
ngx.INFO       -- 信息，业务琐碎日志信息，包含不同情况判断等
ngx.DEBUG      -- 调试

-------------------------------------

#user  nobody;
worker_processes  1;

error_log  logs/error.log error;    # 日志级别
#pid        logs/nginx.pid;

events {
    worker_connections  1024;
}

http {
    server {
        listen    80;
        location / {
            content_by_lua_block {
                local num = 55
                local str = "string"
                local obj
                ngx.log(ngx.ERR, "num:", num)
                ngx.log(ngx.INFO, " string:", str)
                print([[i am print]])
                ngx.log(ngx.ERR, " object:", obj)
            }
        }
    }
}

日志输出级别使用的 error，只有等于或大于这个级别的日志才会输出

ngx.DEBUG
ngx.WARN

对于应用开发，一般使用 ngx.INFO 到 ngx.CRIT 就够了。生产中错误日志开启到 error 级别就够了

10）重定向 ngx.redirect

-----重定向

location = /bar {
  content_by_lua_block {
    ngx.say([[I am bar]])
  }
}

location = /foo {
  rewrite_by_lua_block {
    return ngx.redirect('/bar');
  }
}


11）不同阶段共享变量

ngx.ctx 全局共享变量

在 OpenResty 的体系中，可以通过共享内存的方式完成不同工作进程的数据共享，
本地内存方式 去让不同的工作进程共享数据

openresty有不同处理阶段，后面的课程会介绍。在不同的处理阶段，如何共享数据

可以通过 Lua 模块方式完成单个进程内不同请求的数据共享。如何完成单个请求内不同阶段的数据共享呢？

ngx.ctx 表就是为了解决这类问题而设计的。参考下面例子：

location /test {
     rewrite_by_lua_block {
         ngx.ctx.foo = 76
     }
     access_by_lua_block {
         ngx.ctx.foo = ngx.ctx.foo + 3
     }
     content_by_lua_block {
         ngx.say(ngx.ctx.foo)
     }
 }

 ngx.ctx.xxxxx

首先 ngx.ctx 是一个表，所以我们可以对他添加、修改。它用来存储基于请求的 Lua 环境数据，
其生存周期与当前请求相同 (类似 Nginx 变量)。它有一个最重要的特性：
单个请求内的 rewrite (重写)，access (访问)，和 content (内容) 等各处理阶段是保持一致的。

额外注意，每个请求，包括子请求，都有一份自己的 ngx.ctx 表。例如：

 location /sub {
     content_by_lua_block {
         ngx.say("sub pre: ", ngx.ctx.blah)
         ngx.ctx.blah = 32
         ngx.say("sub post: ", ngx.ctx.blah)
     }
 }

 location /main {
     content_by_lua_block {
         ngx.ctx.blah = 73
         ngx.say("main pre: ", ngx.ctx.blah)
         local res = ngx.location.capture("/sub")
         ngx.print(res.body)
         ngx.say("main post: ", ngx.ctx.blah)
     }
 }

ngx.ctx 表查询需要相对昂贵的元方法调用，这比通过用户自己的函数参数直接传递基于请求的数据要慢得多。
所以不要为了节约用户函数参数而滥用此 API，因为它可能对性能有明显影响。

由于 ngx.ctx 保存的是指定请求资源，所以这个变量是不能直接共享给其他请求使用的。


更多api使用  https://www.nginx.com/resources/wiki/modules/lua/#nginx-api-for-lua

操作指令  说明
ngx.arg 指令参数，如跟在content_by_lua_file后面的参数
ngx.var 变量，ngx.var.VARIABLE引用某个变量
ngx.ctx 请求的lua上下文
ngx.header  响应头，ngx.header.HEADER引用某个头
ngx.status  响应码

API 说明
ngx.log 输出到error.log
print 等价于 ngx.log(ngx.NOTICE, ...)
ngx.send_headers  发送响应头
ngx.headers_sent  响应头是否已发送
ngx.resp.get_headers  获取响应头
ngx.timer.at  注册定时器事件
ngx.is_subrequest 当前请求是否是子请求
ngx.location.capture  发布一个子请求
ngx.location.capture_multi  发布多个子请求
ngx.exec   
ngx.redirect   
ngx.print 输出响应
ngx.say 输出响应，自动添加'n'
ngx.flush 刷新响应
ngx.exit  结束请求
ngx.eof  
ngx.sleep 无阻塞的休眠（使用定时器实现）
ngx.get_phase  
ngx.on_abort  注册client断开请求时的回调函数
ndk.set_var.DIRECTIVE  
ngx.req.start_time  请求的开始时间
ngx.req.http_version  请求的HTTP版本号
ngx.req.raw_header  请求头（包括请求行）
ngx.req.get_method  请求方法
ngx.req.set_method  请求方法重载
ngx.req.set_uri 请求URL重写
ngx.req.set_uri_args   
ngx.req.get_uri_args  获取请求参数
ngx.req.get_post_args 获取请求表单
ngx.req.get_headers 获取请求头
ngx.req.set_header   
ngx.req.clear_header   
ngx.req.read_body 读取请求体
ngx.req.discard_body  扔掉请求体
ngx.req.get_body_data  
ngx.req.get_body_file  
ngx.req.set_body_data  
ngx.req.set_body_file  
ngx.req.init_body  
ngx.req.append_body  
ngx.req.finish_body  
ngx.req.socket   
ngx.escape_uri  字符串的url编码
ngx.unescape_uri  字符串url解码
ngx.encode_args 将table编码为一个参数字符串
ngx.decode_args 将参数字符串编码为一个table
ngx.encode_base64 字符串的base64编码
ngx.decode_base64 字符串的base64解码
ngx.crc32_short 字符串的crs32_short哈希
ngx.crc32_long  字符串的crs32_long哈希
ngx.hmac_sha1 字符串的hmac_sha1哈希
ngx.md5 返回16进制MD5
ngx.md5_bin 返回2进制MD5
ngx.sha1_bin  返回2进制sha1哈希值
ngx.quote_sql_str SQL语句转义
ngx.today 返回当前日期
ngx.time  返回UNIX时间戳
ngx.now 返回当前时间
ngx.update_time 刷新时间后再返回
ngx.localtime  
ngx.utctime  
ngx.cookie_time 返回的时间可用于cookie值
ngx.http_time 返回的时间可用于HTTP头
ngx.parse_http_time 解析HTTP头的时间
ngx.re.match   
ngx.re.find  
ngx.re.gmatch  
ngx.re.sub   
ngx.re.gsub  
ngx.shared.DICT  
ngx.shared.DICT.get  
ngx.shared.DICT.get_stale  
ngx.shared.DICT.set  
ngx.shared.DICT.safe_set   
ngx.shared.DICT.add  
ngx.shared.DICT.safe_add   
ngx.shared.DICT.replace  
ngx.shared.DICT.delete   
ngx.shared.DICT.incr   
ngx.shared.DICT.flush_all  
ngx.shared.DICT.flush_expired  
ngx.shared.DICT.get_keys   
ngx.socket.udp   
udpsock:setpeername  
udpsock:send   
udpsock:receive  
udpsock:close  
udpsock:settimeout   
ngx.socket.tcp   
tcpsock:connect  
tcpsock:sslhandshake   
tcpsock:send   
tcpsock:receive  
tcpsock:receiveuntil   
tcpsock:close  
tcpsock:settimeout   
tcpsock:setoption  
tcpsock:setkeepalive   
tcpsock:getreusedtimes   
ngx.socket.connect   
ngx.thread.spawn   
ngx.thread.wait  
ngx.thread.kill  
coroutine.create   
coroutine.resume   
coroutine.yield  
coroutine.wrap   
coroutine.running  
coroutine.status   
ngx.config.debug  编译时是否有 --with-debug选项
ngx.config.prefix 编译时的 --prefix选项
ngx.config.nginx_version  返回nginx版本号
ngx.config.nginx_configure  返回编译时 ./configure的命令行选项
ngx.config.ngx_lua_version  返回ngx_lua模块版本号
ngx.worker.exiting  当前worker进程是否正在关闭（如reload、shutdown期间）
ngx.worker.pid  返回当前worker进程的pid
   
常量说明
ngx.OK (0)
ngx.ERROR (-1)
ngx.AGAIN (-2)
ngx.DONE (-4)
ngx.DECLINED (-5)
ngx.nil


HTTP 请求方式
ngx.HTTP_GET
ngx.HTTP_HEAD
ngx.HTTP_PUT
ngx.HTTP_POST
ngx.HTTP_DELETE
ngx.HTTP_OPTIONS  
ngx.HTTP_MKCOL    
ngx.HTTP_COPY      
ngx.HTTP_MOVE     
ngx.HTTP_PROPFIND
ngx.HTTP_PROPPATCH
ngx.HTTP_LOCK
ngx.HTTP_UNLOCK    
ngx.HTTP_PATCH   
ngx.HTTP_TRACE  


HTTP 返回状态
ngx.HTTP_OK (200)
ngx.HTTP_CREATED (201)
ngx.HTTP_SPECIAL_RESPONSE (300)
ngx.HTTP_MOVED_PERMANENTLY (301)
ngx.HTTP_MOVED_TEMPORARILY (302)
ngx.HTTP_SEE_OTHER (303)
ngx.HTTP_NOT_MODIFIED (304)
ngx.HTTP_BAD_REQUEST (400)
ngx.HTTP_UNAUTHORIZED (401)
ngx.HTTP_FORBIDDEN (403)
ngx.HTTP_NOT_FOUND (404)
ngx.HTTP_NOT_ALLOWED (405)
ngx.HTTP_GONE (410)
ngx.HTTP_INTERNAL_SERVER_ERROR (500)
ngx.HTTP_METHOD_NOT_IMPLEMENTED (501)
ngx.HTTP_SERVICE_UNAVAILABLE (503)
ngx.HTTP_GATEWAY_TIMEOUT (504)