lua 获取网络时间_Redis进阶：Redis+Lua脚本实现复杂操作

最新推荐文章于 2023-08-17 20:21:02 发布
最新推荐文章于 2023-08-17 20:21:02 发布
阅读量529 收藏
点赞数
文章标签： lua 获取网络时间 lua程序设计 lua设计与实现 lua设计与实现 pdf

一、引言

Redis是高性能的key-value数据库，在很大程度克服了memcached这类key/value存储的不足，在部分场景下，是对关系数据库的良好补充。得益于超高性能和丰富的数据结构，Redis已成为当前架构设计中的首选key-value存储系统。

虽然Redis官网上提供了200多个命令，但做程序设计时还是避免不了为了实现一小步业务逻辑而多次调用Redis的情况。

以compare and set场景为例。如果使用Redis原生命令，需要从Redis中获取这个key，然后提取其中的值进行比对：如果相等就不做处理；如果不相等或者key不存在则将key设置成目标值。仅仅一个单点的compare and set操作就需要与Redis通讯两次。

此外，这种分散操作无法利用Redis的原子特性，占用多次网络IO。

今天我们就来探讨一下如何优雅地应对上述场景。

二、Redis与Lua

在介绍Lua之前，我们需要先对这个语言有个初步了解。Lua 是一个小巧的脚本语言，几乎可以运行在所有操作系统和平台上。我们一般不会用Lua处理特别复杂的事务，因此只需了解一些lua的基本语法即可。

Redis问世之后，其开发者也意识到了开篇提到的问题，因此Redis从2.6版本开始支持Lua脚本。新版本的Redis还支持Lua Script debug，感兴趣的小伙伴可以去官网的Documentation中找到对应介绍和QuickStart。

有了Lua脚本之后，使用Redis程序时便能够在以下方面实现显著提升：

  • 减少网络开销：本来N次网络请求的操作，可以用一个请求完成。原先N次请求的逻辑放在Redis服务器上完成，减少了网络往返时延；
  • 原子操作：Redis会将整个脚本作为一个整体执行，中间不会被其他命令插入。这是一个重要特性，一定要拿小本本记好。至于为什么是一个原子操作，我们以后再分析；
  • 复用：客户端发送的脚本会永久存储在Redis中。这样其他客户端就可以复用这一脚本，而不需要使用代码完成同样的逻辑。

所以现在流传一句话：要想学好Redis，必会Lua Script。

三、通过Lua脚本实现compare and set

接下来我们就实现一个简单的compare and set，并通过这个例子感受一下Lua脚本给Redis使用带来的全新体验。

首先看一下如何让Redis执行Lua脚本。

3.1 Redis的EVAL

Redis 127.0.0.1:6379> EVAL script numkeys key [key ...] arg [arg ...]
  • script： 参数是一段 Lua 5.1 脚本程序。脚本不必(也不应该)定义为一个Lua函数。
  • numkeys： 用于指定键名参数的个数。
  • key [key ...]： 从 EVAL 的第三个参数开始算起，表示在脚本中所用到的Redis键(key)。在Lua中，这些键名参数可以通过全局变量 KEYS 数组，用1为基址的形式访问( KEYS[1] ，KEYS[2]，依次类推)。
  • arg [arg ...]： 附加参数，在Lua中通过全局变量ARGV数组访问，访问的形式和KEYS变量类似( ARGV[1] 、 ARGV[2] ，诸如此类)。

这里借用一下官网的例子。

e8933d0457d0f80cf5dbbf3971d3b94f.png

上述脚本直接返回了入参。

  • eval为Redis关键字；
  • 第一个引号中的内容就是Lua脚本；
  • 2为参数个数；
  • key1和key2是KEYS[1]、KEYS[2]的入参；
  • first和second是ARGV[1],ARGV[2]的入参。

大家可以简单地将KEYS[1],KEYS[2], ARGV[1],ARGV[2]理解为占位符。

3.2 执行脚本文件和缓存脚本

如果只能在命令行中写脚本执行，遇到复杂的脚本程序岂不是会抓狂？

下面我们来看一下，如何让Redis执行Lua脚本文件，同时也验证一下lua脚本的复用特性(以后我们再也不需要定期批量删除某些符合特定规则的key了)。

Redis 127.0.0.1:6379> SCRIPT LOAD scriptRedis 127.0.0.1:6379> EVALSHA sha1 numkeys key [key ...] arg [arg ...]

Redis提供了一个SCRIPTLOAD命令，命令后面的script即为Lua脚本。命令将脚本script添加到脚本缓存中，但并不立即执行这个脚本。执行命令后，Redis会返回一个SHA1串，第二个EVALSHA命令即可执行。

需要注意的是，脚本可以在缓存中保留无限长的时间，直到执行完SCRIPT FLUSH。我们来看一下效果。

87bf1125a0f62224a23dc5ef31ca33cb.png

Redis还支持直接执行Lua脚本文件。首先编写并存储一个Lua脚本。

2aa033c821780ce7e51d8ad134066250.png

然后调用Redis-cli –eval命令

4f754144280522e8163740c0dcb7de98.png

Redis-cli –eval命令语法基本与原eval语法相同。

3.3 使用Lua脚本实现compare and set

compareand set的实现逻辑是这样的：首先获取Redis中指定key的value，然后与给定值进行比较：如果相等，则将key设定为目标值并返回一个标识符；如果不相等，则不作任何操作并返回一个标识符。

if Redis.call('get', KEYS[1]) == ARGV[1] then Redis.call('set', KEYS[1], ARGV[2]); return 1else return 0 end

下面我们来测试一下这个脚本。

首先向Redis的指定key compareAndSet:key写入一个值value

833b18fa81b704ae2ff295d9b02c9f8e.png

在Redis中执行lua脚本

58d498b01d3384ff5af0175b20fc8ea2.png

可以看到第一次执行返回1，说明修改成功了；再使用原参数执行时返回0，说明没有做任何修改。我们再查询一下compareAndSet:key这个key

28d2802eb0e9cbf9c58bd7b711dd413a.png

可以看到compareAndSet:key这个key已经被修改为new_value了。

四、总结

我们通过lua脚本实现了一个简单的compareAndSet操作。

下面我们通过这个例子来验证一下开篇提到的特性。

  • 减少网络开销：不使用脚本的情况下，我们实现一个compareAndSet至少需要与Redis交互两次，而现在只需要执行一次操作即可完成；
  • 原子操作：得益于Redis的设计，Redis会将整个脚本作为一个整体执行，中间不会被其他命令插入。因此在编写脚本的过程中无需担心出现竞态条件，无需使用事务，感兴趣的可以百度或等待以后后续文章更新；
  • 复用：可以将一系列操作封装成一个Lua脚本，存储在文件或Redis上，下次使用时直接调用即可。

读到这里，希望你已经对Redis+Lua有了一定的了解，并能使用脚本完成一些简单的复合操作。后续还会继续更新一些基于Lua脚本+java程序实现的分布式数据结构，如延迟队列、可重入锁等，感兴趣的小伙伴可以持续关注。

90ed3e9e271f7dcee698ab486bf23e78.png

作者：李崇

转自：https://segmentfault.com/a/1190000019994815

weixin_39546747
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
lua设计与实现_Lua设计与实现--GC篇
weixin_39633976的博客
12-04 341
这是Lua设计与实现专栏的第6篇文章，专栏由于工作原因已经停更很久了，最近有些闲暇时间可以继续对Lua5.3中的增量GC算法进行一个比较深入的研究，本文主要分为顶层设计和具体实现两个大块。 文章以lua5.3源码为背景进行讨论。1.背景和C#、Java类似，lua采用了Mark&Sweep的算法来进行垃圾回收，与之相对的还有个常用算法是Automatic Reference Countin...
lua设计与实现（一）概述
江湖夜雨十年灯
10-29 869
虚拟机核心相关文件列表 文件名 作用 对外接口前缀 lapi.c C语言接口 lua_ lcode.c 源码生成器 luaK_ ldebug.c 调试库 luaG_ ldo.c 函数调用及栈管理 luaD_ ldump.i 序列化预编译的lua字节码 lfunc.c 提供操作函数原型及闭包的辅助函数 luaF_ lgc.c GC luaC_ llex....
lua设计与实现_Lua设计与实现--Table篇
weixin_39769807的博客
12-04 281
本篇文章是Lua设计与实现专栏的第四篇，主要结合了《Lua设计与实现》书中的第4章(表)，以及lua5.3源码进行一些总结，由于原书中主要是基于lua5.1进行书写的，所以可能会有跟书中列举代码不一致的地方，不过大体上是保持一致的。Table的设计哲学table应该算是lua最灵魂的一个结构了。它有以下特点：容器功能：与其他语言相似，lua也内置了容器功能，也就是table。而与其他语言不同的是，...
Lua学习资源
oldcmp的专栏
01-22 290
 Lua 是一个绝对值得注意的脚本语言，它拥有一个活跃的社区。 http://www.codingnow.com/2000/download/lua_manual.html Lua 5.1 中文手册。 http://lua-users.org 可以得到大量的关于 lua 的信息。 http://www.lua.org/lua-l-stats.html 这里可以
Golang使用lua脚本实现redis原子操作
12-20
Golang与Redis结合使用Lua脚本，能够有效地实现原子操作，从而提高系统的稳定性和效率。 首先，Redis是一个开源的键值存储系统，它广泛用于数据缓存、消息队列以及复杂的数据结构存储。Lua是一种轻量级的脚本语言，...
nginx+lua+redis 集群 连接插件和脚本
12-09
本资源包“nginx+lua+redis集群 连接插件和脚本”正是为了解决这三者之间的协同工作，特别是针对原插件没有密码功能的问题进行了改进，使得安全性得到了提升。 首先，Nginx是一款轻量级的Web服务器/反向代理服务器...
java+redis+lua实现重复提交操作拦截.zip
05-18
通过以上方式，项目"java+redis+lua实现重复提交操作拦截"创建了一个健壮的系统，能够有效防止在网络延迟或并发情况下出现的重复提交问题，从而保护数据的一致性和完整性。这样的解决方案在电商平台、金融交易等对...
Lua的设计与实现——前言与概述
田螺姑娘的博客
05-07 816
前言与概述 出自书籍：李创.Lua设计与实现[M].北京.人民邮电出版社.2017:186. 前言   假如采用C++这样的编译型语言来开发游戏，那么典型的开发流程大致时这样的：擂起袖子来写了一大段代码，然后编译解决调试编译的错误，中间可能还要处理类似崩溃、段错误、内存泄露等问题。另外，由于重新编译了代码，又需要重启服务器，而重启过程中势必涉及数据的加载。总而言之，采用纯编译型语言开发的情况下，相当一部分时间并没有用在真正的业务逻辑开发中。   项目采用的是C++编写的核心引擎模块，暴露核心接口给Lua
lua设计与实现 pdf_Redis设计与实现（txt+pdf+epub+mobi+azw3）免费下载
weixin_39761481的博客
12-04 368
作品简介：本书全面而完整地讲解了Redis的内部机制与实现方式，对Redis的大多数单机功能以及所有多机功能的实现原理进行了介绍，展示了这些功能的核心数据结构以及关键的算法思想,图示丰富，描述清晰，并给出大量参考信息。通过阅读本书，读者可以快速、有效地了解Redis的内部构造以及运作机制，更好、更高效地使用Redis。本书主要分为四大部分。第一部分“数据结构与对象”介绍了Redis中的各种对象及其...
lua程序设计.pdf
01-30
gg修改器的脚本使用 本章共分三篇,一步步带领你写出第一个脚本 认识Lua的基本语法以及变量 了解逻辑控制语句以及循环语句 认识函数以及你的第一个脚本
Lua程序设计(第2版) 高清版
01-22
Lua开发教程，包含基本语法的讲解及大量实战简介，适合初级开发人员学习，并可作为高级开发人员参考
Lua程序设计，2~4版本pdf电子书，C的Lua语言原滋原味
03-26
Lua程序设计，2~4版本pdf电子书，原滋原味，带书签。很适合Lua开发者。纯C的Lua语言，让我爱不释手。
Redis与Lua脚本（进阶篇）
最新发布
爱晴禹
08-17 2287
Lua语言是在1993年由巴西一个大学研究小组发明，其设计目标是作为嵌入式程序移植到其他应用程序，它是由C语言实现的，虽然简单小巧但是功能强大，所以许多应用都选用它作为脚本语言，尤其是在游戏领域，暴雪公司的“魔兽世界”，“愤怒的小鸟”，Nginx将Lua语言作为扩展。Redis将Lua作为脚本语言可帮助开发者定制自己的Redis命令。Redis 2.6 版本通过内嵌支持 Lua 环境。也就是说一般的运用，是不需要单独安装Lua的。1、减少网络开销，在Lua脚本中可以把多个命令放在同一个脚本中运行；
【Redis】Redis中使用Lua脚本
热门推荐
morris
08-22 2万+
Lua是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放，其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。Lua具体语法参考：https://www.runoob.com/lua/lua-tutorial.html。
Lua的设计与实现——基础数据类型（字符串）
web18484626332的博客
05-18 155
Lua的设计与实现——基础数据类型（字符串） 出自书籍：李创.Lua设计与实现[M].北京.人民邮电出版社.2017:186. 这次介绍Lua内部字符串的实现原理。首先将概述Lua的实现原理，看看其中设计者主要考虑哪些情况，然后带着这些问题结合具体的代码进行分析。 概述 C语言并不像C++那样，自带处理字符串类型的库，这导致有非常多的C语言库都自己实现了一个处理字符串的类型和相关的API。一般来说，要表示一个字符串，核心就是以下两个数据。 字符串长度。 指向存放字符串内存数据的指针。 当然，Lu
自己动手实现LUA 虚拟机、编译器和标准库 xmind笔记 和代码学习
草帽boy的博客
02-02 1061
目前代码刷到第十章 https://github.com/qiaojinxia/GoLuaStudy
python基础常用语句-Python语言的一些基本常用语句
weixin_37988176的博客
11-01 267
(1)、赋值：创建变量引用值a,b,c="aa","bb","cc"(2)、调用：执行函数log.write("spam,name")打印、输出：调用打印对象，print 语句print ("abc")（3）if、elif、else：选择条件语句，if语句、else与elif语句if "i...
脚本lua_Redis + LUA 脚本实现分布式限流
06-09
实现分布式限流可以使用 Redis 的 Lua 脚本来完成。以下是可能的实现方案： 1. 使用 Redis 的 SETNX 命令来实现基于令牌桶算法的限流 令牌桶算法是一种常见的限流算法，它可以通过令牌的放置和消耗来控制流量。在 Redis 中，我们可以使用 SETNX 命令来实现令牌桶算法。 具体实现步骤如下： - 在 Redis 中创建一个有序集合，用于存储令牌桶的令牌数量和时间戳。 - 每当一个请求到达时，我们首先获取当前令牌桶中的令牌数量和时间戳。 - 如果当前时间戳与最后一次请求的时间戳之差大于等于令牌桶中每个令牌的发放时间间隔，则将当前时间戳更新为最后一次请求的时间戳，并且将令牌桶中的令牌数量增加相应的数量，同时不超过最大容量。 - 如果当前令牌桶中的令牌数量大于等于请求需要的令牌数量，则返回 true 表示通过限流，将令牌桶中的令牌数量减去请求需要的令牌数量。 - 如果令牌桶中的令牌数量不足，则返回 false 表示未通过限流。 下面是使用 Redis 的 Lua 脚本实现令牌桶算法的示例代码： ```lua -- 限流的 key local key = KEYS[1] -- 令牌桶的容量 local capacity = tonumber(ARGV[1]) -- 令牌的发放速率 local rate = tonumber(ARGV[2]) -- 请求需要的令牌数量 local tokens = tonumber(ARGV[3]) -- 当前时间戳 local now = redis.call('TIME')[1] -- 获取当前令牌桶中的令牌数量和时间戳 local bucket = redis.call('ZREVRANGEBYSCORE', key, now, 0, 'WITHSCORES', 'LIMIT', 0, 1) -- 如果令牌桶为空，则初始化令牌桶 if not bucket[1] then redis.call('ZADD', key, now, capacity - tokens) return 1 end -- 计算当前令牌桶中的令牌数量和时间戳 local last = tonumber(bucket[2]) local tokensInBucket = tonumber(bucket[1]) -- 计算时间间隔和新的令牌数量 local timePassed = now - last local newTokens = math.floor(timePassed * rate) -- 更新令牌桶 if newTokens > 0 then tokensInBucket = math.min(tokensInBucket + newTokens, capacity) redis.call('ZADD', key, now, tokensInBucket) end -- 检查令牌数量是否足够 if tokensInBucket >= tokens then redis.call('ZREM', key, bucket[1]) return 1 else return 0 end ``` 2. 使用 Redis 的 Lua 脚本来实现基于漏桶算法的限流 漏桶算法是另一种常见的限流算法，它可以通过漏桶的容量和漏水速度来控制流量。在 Redis 中，我们可以使用 Lua 脚本来实现漏桶算法。 具体实现步骤如下： - 在 Redis 中创建一个键值对，用于存储漏桶的容量和最后一次请求的时间戳。 - 每当一个请求到达时，我们首先获取当前漏桶的容量和最后一次请求的时间戳。 - 计算漏水速度和漏水的数量，将漏桶中的容量减去漏水的数量。 - 如果漏桶中的容量大于等于请求需要的容量，则返回 true 表示通过限流，将漏桶中的容量减去请求需要的容量。 - 如果漏桶中的容量不足，则返回 false 表示未通过限流。 下面是使用 Redis 的 Lua 脚本实现漏桶算法的示例代码： ```lua -- 限流的 key local key = KEYS[1] -- 漏桶的容量 local capacity = tonumber(ARGV[1]) -- 漏水速度 local rate = tonumber(ARGV[2]) -- 请求需要的容量 local size = tonumber(ARGV[3]) -- 当前时间戳 local now = redis.call('TIME')[1] -- 获取漏桶中的容量和最后一次请求的时间戳 local bucket = redis.call('HMGET', key, 'capacity', 'last') -- 如果漏桶为空，则初始化漏桶 if not bucket[1] then redis.call('HMSET', key, 'capacity', capacity, 'last', now) return 1 end -- 计算漏水的数量和漏桶中的容量 local last = tonumber(bucket[2]) local capacityInBucket = tonumber(bucket[1]) local leak = math.floor((now - last) * rate) -- 更新漏桶 capacityInBucket = math.min(capacity, capacityInBucket + leak) redis.call('HSET', key, 'capacity', capacityInBucket) redis.call('HSET', key, 'last', now) -- 检查容量是否足够 if capacityInBucket >= size then return 1 else return 0 end ``` 以上是使用 Redis 的 Lua 脚本实现分布式限流的两种方案，可以根据实际需求选择适合的方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值