IM聊天系统为什么需要做消息幂等？如何使用Redis以及Lua脚本做消息幂等【第12期】

已于 2024-02-18 23:05:01 修改
阅读量2.1k 收藏 19
点赞数 15
文章标签： redis lua 数据库
于 2024-02-13 00:04:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21561833/article/details/136104296
版权

0前言

消息收发模型
在这里插入图片描述

在这里插入图片描述
第一张图是一个时序图，第二张图是一个标清楚步骤的流程图，更加清晰。消息的插入环节主要在2步。save部分。主要也是对这个部分就行消息幂等的操作。

前情提要：使用Redis发布 token 以及lua脚本来共同完成消息的幂等

目前已经写的文章有。并且有对应视频版本。
git项目地址 【IM即时通信系统（企聊聊）】点击可跳转
sprinboot单体项目升级成springcloud项目 【第一期】
前端项目技术选型以及页面展示【第二期】
分布式权限 shiro + jwt + redis【第三期】
给为服务添加运维模块 统一管理【第四期】
微服务数据库模块【第五期】
netty与mq在项目中的使用(第六期)】
分布式websocket即时通信(IM)系统构建指南【第七期】
分布式websocket即时通信(IM)系统保证消息可靠性【第八期】
分布式websocket IM聊天系统相关问题问答【第九期】
什么？websocket也有权限！这个应该怎么做？【第十期】
分布式ID是什么，以美团Leaf为例改造融入自己项目【第十一期】

1.我开源项目IM重复的原因

  • IM系统中有三个常见的指标。消息可靠（不丢消息）。就是消息不能重复（不重复）。保证消息的时序性（不乱序）。这三个指标非常重要。
  • 消息可靠主要通过报文协议等操作来完成。前面视频有一期讲过报文协议。目前主要采取上述方式去保证消息的可靠性。然后再保证消息可靠性的过程中，有一些需要重试的操作。可能会导致数据库多次插入。需要我们来保证一下消息的幂等。通俗的讲就是保证消息的不重复。
1.客户端会重复的发送消息

客户端是一个timer的机制。客户端a发送给b消息的时候，在0.5秒没有收到b的ack的时候会重发消息，重发三次还没有收到ack视为重发失败
//使用timer机制 检测队列里面是否存在ack，如果存在，则超时重发以及限制次数

伪代码如下。用户在线并且不是重试消息的时候，添加到队列里面。

 if (res.params.online == true && res.params.isretry == "false") {
            state.queue.offer(state.tempSendMsg);
            //
            //使用timer机制 检测队列里面是否存在ack，如果存在，则超时重发以及限制次数
            const result = await retry(fetchDataFn, 3, 1000, res.params.msgid);
            //三次之后消息还没有发送成功 提示消息发送失败
            if (result == false) {
              Toast("消息发送失败，请重新发送");
            }
          } else {
            console.log("【IM日志】 接受消息者没有登录或者是重试消息 ");
          }

进行重试的js代码

//重试的一个方法
export function retry(fn, maxRetry, timeout,msg) {
  return new Promise(async (resolve, reject) => {
    let retryCount = 0;
    let timer;
 
    const run = async () => {
      try {
        const result = await fn(msg);
        resolve(result);
      } catch (err) {
        if (retryCount < maxRetry) {
          retryCount++;
          clearTimeout(timer);
          timer = setTimeout(run, timeout);
        } else {
          reject(err);
        }
      }
    };
 
    timer = setTimeout(run, timeout);
  });
}
2.mq处理逻辑异常重试机制

mq处理逻辑的时候抛出异常然后重试

		try{
		  //业务逻辑
		}catch (Exception e){
            //失败的话需要把redis的这个消息还回去.
            SetOperations<String, String> opsForSet = stringRedisTemplate.opsForSet();
            Long add = opsForSet.add(RedisPrefix.LEAF_PERFIX,  message1.getMsgid());//往集合添加元素
            log.error("consumeMsg 消费mq消息失败.",e);
            // 处理失败，抛出异常，消息会根据重试策略稍后重新消费
            throw new RuntimeException("处理消息时发生错误，消息将被重新消费。");
        }

参考上述逻辑图，消息落库的时候异步分发到了mq上面。rocketmq有超时重试机制，会自动重试。导致消息被多次消费。需要做幂等

2.如何解决的幂等

为什么要解决幂等，什么情况下出现幂等

对同一个资源进行操作副作用只有一次。

  • insert操作，这种情况下多次请求，可能会产生重复数据。

  • update操作，如果只是单纯的更新数据，比如：update user set status=1 where id=1，是没有问题的。如果还有计算，比如：update user set status=status+1 where id=1，这种情况下多次请求，可能会导致数据错误。

使用redis做的幂等。redis做幂等其实有两种思路。

一种思路是我目前正在使用的防重 Token 令牌思路。另一种是下游传递唯一请求编号。主要说明防重token令牌的思路。其实差别就是一个redis里面的键被删除了。另一个没有删除。
防重token令牌
在这里插入图片描述
下游传递唯一请求编号如下
在这里插入图片描述

当客户端请求分布式id的时候将其存入redis。也就是获取一个唯一id。当进行消费消息的时候。先判断唯一id在不在。在的话删除redis中的唯一id并且进行业务操作。不再的话就不能进行业务操作来实现的幂等。
流程代码如下所示：

1.获取token以及存储token到redis中；
在loginUser 用户中心服务中

    @RequestMapping(value = "/api/segment/get/{key}")
    public GenericResponse getSegmentId(@PathVariable("key") String key) {
        String leafno = get(key, segmentService.getId(key));
        SetOperations<String, String> opsForSet = stringRedisTemplate.opsForSet();
        Long add = opsForSet.add(RedisPrefix.LEAF_PERFIX, leafno);//往集合添加元素
        /**
         * 设置一个10分钟的有效期
         */
//        stringRedisTemplate.expire(RedisPrefix.LEAF_PERFIX,600, TimeUnit.SECONDS);
        return GenericResponse.response(ServiceError.NORMAL,leafno );
    }

我们使用了美团的分布式id来生成分布式id。
2.前台发送消息的时候携带上唯一id

const sendMsg2 = async () => {
      const { content, toUser } = state;
      const no = await getLeaf();
      let data = {
        // 1代表着私聊的意思
        type: 1,
        params: {
          msgid: no.content,
          toMessageId: toUser.openid,
          message: content,
          fileType: 0,
          isretry: false,
        },
      };
      if (state.current == 2) {
        data = {
          type: 9,
          params: {
            toMessageId: state.groupId,
            message: content,
            fileType: 0,
          },
        };
      }
      console.log(data);
      state.tempSendMsg = data;
      state.socketServe.send(data);
      state.recesiveAllMsg.push({
        type: "self",
        content: content,
      });
      state.content = "";
    };

这个是发送消息的操作
const no = await getLeaf();这行代码请求后端接口。然后构造消息体。
3.聊天服务(Netty)收到前台消息后 mq异步发送消息

 public void sendMessage(String topic ,ChannelHandlerContext ctx, String message, String toUser, String state, Boolean type, String msgid,String token) {
        MqMessage messageMQ = new MqMessage();
        messageMQ.setFromId(SessionUtils.getUser(ctx.channel()).getOpenid());
        messageMQ.setToId(toUser);
        messageMQ.setType(state);
        messageMQ.setInfoContent(message);
        messageMQ.setTime(new DateTime().toString());
        messageMQ.setState(type);
        messageMQ.setMsgid(msgid);
        messageMQ.setToken(token);
        messageDispatchService.sendForSave(topic,messageMQ);
    }

发送给保存的主题
4.业务模块（frist）消费消息

 @Override
    public void onMessage(String o) {
        String mqmsg =o;
        log.info("RocketMqConsumerService=====消费消息:"+mqmsg);
        //消息内容

        MqMessage message1 = JSON.parseObject(mqmsg, MqMessage.class);
        try {
            ChatDto chatDto = new ChatDto();
            chatDto.setContent(message1.getInfoContent());
            chatDto.setToOpenid(message1.getToId());
            chatDto.setGroup(message1.getState());
            //将msgid存储进去，方便后续进行update
            chatDto.setMsgId(message1.getMsgid());
            SetOperations<String, String> opsForSet = stringRedisTemplate.opsForSet();
//            Boolean member = opsForSet.isMember(RedisPrefix.LEAF_PERFIX, message1.getMsgid());
            if( executeOperation(message1.getMsgid())){
//                Long remove = opsForSet.remove(RedisPrefix.LEAF_PERFIX, message1.getMsgid());//删除元
                if (message1.getState() !=null){
                    if(message1.getType().equals("onLine")){
                        /**
                         * 用户在线需要去推送一下
                         */
                        yanUserChatService.saveChat(message1.getFromId(),chatDto,1);
                        SendRequest send = buildSendRequest(message1);
                        //设置过滤应该有的token
                        RoseFeignConfig.token.set(message1.getToken());
                        nettyMqFeign.send(send);
                    }else {
                        /**
                         * 离线消息直接落库就链路就结束了
                         */
                        yanUserChatService.saveChat(message1.getFromId(),chatDto,0);
                    }
                }
            }
        }catch (Exception e){
            //失败的话需要把redis的这个消息还回去.
            SetOperations<String, String> opsForSet = stringRedisTemplate.opsForSet();
            Long add = opsForSet.add(RedisPrefix.LEAF_PERFIX,  message1.getMsgid());//往集合添加元素
            log.error("consumeMsg 消费mq消息失败.",e);
            // 处理失败，抛出异常，消息会根据重试策略稍后重新消费
            throw new RuntimeException("处理消息时发生错误，消息将被重新消费。");
        }

    }

lua表达式
目前使用redis的类型是set，键是yan_leaf

    /**
     * 幂等的方法,判断list存不存在。存在的话直接删除，下次进来就不存在了。
     * @param token
     * @return
     */
    public boolean executeOperation(String token) {
        // Lua脚本
        String script = "if redis.call('sismember', KEYS[1], ARGV[1]) == 1 then return redis.call('srem', KEYS[1], ARGV[1]) else return 0 end";
        DefaultRedisScript<Long> redisScript = new DefaultRedisScript<>(script, Long.class);

        // 执行Lua脚本
        Long result = stringRedisTemplate.execute(redisScript, Collections.singletonList(RedisPrefix.LEAF_PERFIX), token);

        // 根据Lua脚本执行结果判断操作是否执行
        return result != null && result > 0;
    }

通过这个lua防止并发请求进来导致幂等失败

呆呆呆呆梦
关注
JAVA开发高性能IM即时通信系统源码.zip
05-20
JAVA开发高性能IM即时通信系统源码，JAVA语言开发的轻量、高性能、单机支持几十万至百万在线用户IM，主要目标降低即时通讯门槛，快速打造低成本接入在线IM系统，通过极简洁的消息格式就可以实现多端不同协议间的消息发送如内置(Http、Websocket、Tcp自定义IM协议) JAVA开发高性能IM即时通信系统源码，JAVA语言开发的轻量、高性能、单机支持几十万至百万在线用户IM，主要目标降低即时通讯门槛，快速打造低成本接入在线IM系统，通过极简洁的消息格式就可以实现多端不同协议间的消息发送如内置(Http、Websocket、Tcp自定义IM协议) JAVA开发高性能IM即时通信系统源码，JAVA语言开发的轻量、高性能、单机支持几十万至百万在线用户IM，主要目标降低即时通讯门槛，快速打造低成本接入在线IM系统，通过极简洁的消息格式就可以实现多端不同协议间的消息发送如内置(Http、Websocket、Tcp自定义IM协议) JAVA开发高性能IM即时通信系统源码，JAVA语言开发的轻量、高性能、单机支持几十万至百万在线用户IM，主要目标降低即时通讯门槛，快速打造低成本接入在线IM系
【即使通信 IM】如何保障消息的实时性、可靠性、有序性、幂等性
qq_63691275的博客
09-13 1079
通信服务和业务处理服务一般是分开的，通信服务一般拿到消息都是交给业务服务进行处理。为提升用户体验，可以把验证消息放在通信服务层进行处理，然后失败了即时响应，成功了再去业务层处理剩余的业务。 消息验证是放在业务层处理的，因为它与业务层的一些类有关联。如何处理呢?使用 Open Feign 去处理远程调用。 利用线程池去处理校验后的处理，因为这些操作是串行的，而且不影响原本程序，所以交给其他后台线程处理在合适不过了也是一种优化。
百万级并发IM即时消息系统（7）redis和websocket的消息队列
m0_50973548的博客
09-04 368
在app.yml中配置好redis之后，可进行下一步操作。
Redis创始人开源最小聊天服务器，仅200行代码
芋艿V
11-11 220
???? 这是一个或许对你有用的社群???? 一对一交流/面试小册/简历优化/求职解惑，欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料：《项目实战（视频）》：从书中学，往事上“练”《互联网高频面试题》：面朝简历学习，春暖花开《架构 x 系统设计》：摧枯拉朽，掌控面试高频场景题《精进 Java 学习指南》：系统学习，互联网主流技术栈《必读 Java 源码专栏》：知其然，知其所以然????这是一个或许...
IM即时通讯系统[SpringBoot+Netty]——梳理（四）
weixin_52487106的博客
05-16 2108
IM即时通讯系统[SpringBoot+Netty]——梳理（四）
基于SSH+Redis+MySQL的IM即时聊天系统设计与实现
06-19
基于SSH+Redis+MySQL的IM即时聊天系统实现，项目经过测试，可完美运行！ 依赖与开发环境说明 Maven工程， IDE：IDEA MySQL: 5.7 Redis: 5.0.4 如果需要使用离线推送服务，需要在个推开通推送服务，然后更新配置文件中与个推相关的配置信息 打包部署与运行 执行mvn clean package，在target目录中将生成im-server.jar和lib目录 拷贝上述生成文件和目录，到指定服务器使用java -jar命令运行服务 一键发布与部署 可参考当前目录中build.sh, start.sh, stop.sh im.service内容
Golang使用lua脚本实现redis原子操作
12-20
Golang与Redis结合使用Lua脚本，能够有效地实现原子操作，从而提高系统的稳定性和效率。 首先，Redis是一个开源的键值存储系统，它广泛用于数据缓存、消息队列以及复杂的数据结构存储。Lua是一种轻量级的脚本语言，...
redis.lua lua脚本语言
01-08
lua链接redis的工具驱动代码
Redis执行Lua脚本的好处与示例代码
09-09
Redis执行Lua脚本的功能在2.6版本引入，极大地增强了Redis的数据处理能力。Lua是一种轻量级的脚本语言，由于其简洁的语法和高效执行，成为Redis内部扩展功能的理想选择。以下是关于Redis执行Lua脚本的一些核心知识点...
Redis如何使用lua脚本实例教程
12-16
说来也巧，redis的大老板给了你解决这种问题的方法，那就是Lua脚本，而且redis的最新版本也支持Lua Script debug，这应该也是未来Redis的一 个发展趋势，要想学好Redis，必会Lua Script。。。 下面话不多说了，来...
即时通讯全套JAVA源码
09-25
用JAVA语言,基于t-io开发的轻量、高性能、单机支持几十万至百万在线用户IM，主要目标降低即时通讯门槛，快速打造低成本接入在线IM系统，通过极简洁的消息格式就可以实现多端不同协议间的消息发送如内置(Http、Websocket、Tcp自定义IM协议)等，并提供通过http协议的api接口进行消息发送无需关心接收端属于什么协议，一个消息格式搞定一切！
Java学习资料-Spring Boot - 结合 Redis 使用 Lua脚本
11-07
结合Redis使用Lua脚本可以提升应用的性能和可靠性，特别是在处理高并发、复杂业务逻辑以及事务处理时。以下是对这个主题的详细阐述： 首先，让我们深入了解一下使用Lua脚本在高并发场景中的价值。在并发环境中，...
解读高斯Redis的技术架构与应用场景
华为云官方博客
11-15 4252
高斯Redis即保留了开源Redis的能力，同时凭借其存算分离的架构，在成本、稳定性、可靠性、一致性等方面做出了新的突破，也更加适用于当下数据规模庞大的互联网业务。
华为云Redis在IM场景中的应用
lzx3x3的博客
11-20 151
高斯Redis是华为云数据库团队自主研发且兼容Redis5.0协议的云原生数据库，采用计算存储分离架构。存储侧使用自研的存储系统，容量无限扩展、强一致、高可靠。计算侧基于 LSM 存储引擎实现，通过将大量的随机写转换为顺序写，从而极大的提升了数据写入性能，同时也通过读缓存、bloom filter 等极大优化了读取性能。下图是高斯Redis在IM场景的优势介绍。
GO 聊天IM系统（三）整合redis、channel完成单聊私聊以及消息回调
weixin_49260963的博客
01-06 644
整合redis完成im项目消息回调
华为云PB级数据库GaussDB(for Redis)揭秘第五期：高斯 Redis 在IM场景中的应用
华为云官方博客
03-18 2000
摘要：揭秘高斯 Redis 在IM场景中的应用。 本文分享自华为云社区《华为云PB级数据库GaussDB(for Redis)揭秘第五期：高斯 Redis 在IM场景中的应用》，原文作者：心机胖 。 一、背景 即时通讯（Instant Messaging，简称IM）是一个实时通信系统，允许两人或多人使用网络实时的传递文字消息、文件、语音与视频。微信、QQ等IM类产品在这个高度信息化的互联网时代已成为生活必备品，IM系统中最核心的部分是消息系统，消息系统中最核心的功能是消息的同步、存储和检索。 消息同
redis的IM的聊天工具
INGNIGHT的专栏
06-23 966
redis的IM的聊天工具 什么是redis的stream数据结构？ Redis 5.0推出了一个新的数据结构：Stream。Stream就是一个流处理 的数据结构. 基于流处理的数据结构，它的功能应用于类似IM的聊天工具和典型的消息队列。 Redis 的Stream几乎满足了消息队列具备的全部内容，包括但不限于： 1.消息ID的序列化生成 2.消息遍历 3.消息的阻塞和非阻塞读取 4.消息的分组消费 5.未完成消息的处理 6.消息队列监控 xadd：向Stream追加消息 xdel：从Stream中删除消
第10讲：Redis幂等性
分享日常工作技术
04-20 1558
幂等性：就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的，不会因为多次点击而产生了了副作用。举个最简单的例子，那就是支付，用户购买商品后支付，支付扣款成功，但是返回结果的时候网络异常，此时钱已经扣了，用户再次点击按钮，此时会进行第二次扣款，返回结果成功，用户查询余额发现多扣了钱，流水记录也变成了两条，再或者新增用户表单注册时，用户反复提交表单.。按照这个含义，最终的含义就是产生『』（假定程序业务代码没问题），绝大部分就是发生了重复的请求，重复请求是指『接口的幂等性实际上就是『
Redis-发布/订阅交互模式
最新发布
sq2048935747@163.com的博客
10-31 373
消息代理”（Message Broker）是一种软件组件，它在不同的应用程序之间传递消息。在Redis的上下文中，消息代理的功能允许Redis作为一个中间人，帮助应用程序之间进行异步通信。具体来说，Redis支持发布/订阅（pub/sub）模式，这是一种消息传递机制，其中一个或多个发布者（publishers）发送消息到一个频道（channel），而订阅者（subscribers）监听这些频道以接收消息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值