Java实现 10 万+并发去重，持续优化_java大量数据去重-CSDN博客

本文链接：https://blog.csdn.net/m0_48922996/article/details/125779814

本文探讨了在Java中处理用户重复请求的方法，包括利用唯一请求编号、业务参数和请求参数摘要进行去重，并针对时间因子进行了优化。通过使用Redis和MD5摘要，实现了短时间内服务端的重复请求拦截。

摘要由CSDN通过智能技术生成

做积极的人，而不是积极废人

来源 |
jaskey.github.io/blog/2020/05/19/handle-duplicate-request/

01、利用唯一请求编号去重
02、业务参数去重
- 03、计算请求参数的摘要作为参数标识
- 04、继续优化，考虑剔除部分时间因子
05、请求去重工具类，Java实现
06、总结

对于一些用户请求，在某些情况下是可能重复发送的，如果是查询类操作并无大碍，但其中有些是涉及写入操作的，一旦重复了，可能会导致很严重的后果，例如交易的接口如果重复请求可能会重复下单。

重复的场景有可能是：

黑客拦截了请求，重放
前端/客户端因为某些原因请求重复发送了，或者用户在很短的时间内重复点击了。
网关重发
….

本文讨论的是如果在服务端优雅地统一处理这种情况，如何禁止用户重复点击等客户端操作不在本文的讨论范畴。

01、利用唯一请求编号去重

你可能会想到的是，只要请求有唯一的请求编号，那么就能借用Redis做这个去重——只要这个唯一请求编号在redis存在，证明处理过，那么就认为是重复的

代码大概如下：

    String KEY = "REQ12343456788";//请求唯一编号
    long expireTime =  1000;// 1000毫秒过期，1000ms内的重复请求会认为重复
    long expireAt = System.currentTimeMillis() + expireTime;
    String val = "expireAt@" + expireAt;

    //redis key还存在的话要就认为请求是重复的
    Boolean firstSet = stringRedisTemplate.execute((RedisCallback<Boolean>) connection -> connection.set(KEY.getBytes(), val.getBytes(), Expiration.milliseconds(expireTime), RedisStringCommands.SetOption.SET_IF_ABSENT));

    final boolean isConsiderDup;
    if (firstSet != null && firstSet) {// 第一次访问
        isConsiderDup = fals