Java实现 10 万+并发去重，持续优化

做积极的人，而不是积极废人

• 01、利用唯一请求编号去重

• 02、业务参数去重

• 03、计算请求参数的摘要作为参数标识

• 04、继续优化，考虑剔除部分时间因子

• 05、请求去重工具类，Java实现

• 06、总结

对于一些用户 请求 ，在某些情况下是可能 重复 发送的，如果是查询类操作并无大碍，但其中有些是涉及写入操作的，一旦 重复 了，可能会导致很严重的后果，例如交易的接口如果 重复 请求 可能会 重复 下单。

重复的场景有可能是：

1. 黑客拦截了请求，重放
2. 前端/客户端因为某些原因 请求 重复 发送了，或者用户在很短的时间内 重复 点击了。
3. 网关重发
4. ….

本文讨论的是如果在服务端优雅地统一处理这种情况，如何禁止用户重复点击等客户端操作不在本文的讨论范畴。

01、利用唯一请求编号去重

你可能会想到的是，只要 请求 有唯一的 请求 编号，那么就能借用Redis做这个去重——只要这个唯一 请求 编号在redis存在，证明处理过，那么就认为是 重复 的

代码大概如下：

    String KEY = "REQ12343456788";
//请求唯一编号    long expireTime =  1000;
// 1000毫秒过期，1000ms内的重复请求会认为重复    
long expireAt = System.currentTimeMillis() + expireTime;    
String val = "expireAt@" + expireAt;    
//redis key还存在的话要就认为请求是重复的    
Boolean firstSet = stringRedisTemplate.execute((RedisCallback<Boolean>) connection -> connection.set(KEY.getBytes(), val.getBytes(), Expiration.milliseconds(expireTime), RedisStringCommands.SetOption.SET_IF_ABSENT));    
final boolean isConsiderDup;    
if (firstSet != null && firstSet) 
{
// 第一次访问        
isConsiderDup = false;    
} 
else {
// redis值已存在，认为是重复了