【并发请求去重方案】

qq_38553514

已于 2022-04-05 17:59:18 修改

阅读量470

点赞数 2

分类专栏：缓存相关文章标签： java 多线程

于 2022-04-05 17:50:56 首次发布

本文链接：https://blog.csdn.net/qq_38553514/article/details/123972012

版权

缓存相关专栏收录该内容

2 篇文章 0 订阅

订阅专栏

该博客探讨了在处理并发请求时如何避免重复操作，特别是对于写入操作。提出了两种方案：一是通过唯一请求编号在Redis中进行去重；二是基于业务参数，尤其是对请求参数进行MD5摘要，去除时间戳等变动字段，实现去重。文中还提供了一个使用Java实现的请求去重工具类示例，用于生成MD5摘要并过滤特定字段。

摘要由CSDN通过智能技术生成

背景

客户段请求服务端接口时总会存在并发问题，如果是查询类操作并无大碍，但其中有些是涉及写入操作的，一旦重复了，可能会导致很严重的后果，例如交易类型的接口重复请求可能会重复下单。

出现并发的原因一般有以下典型的场景

黑客拦截了请求，重放
端/客户端因为某些原因请求重复发送了，或者用户在很短的时间内重复点击了
网关重发
…

方案一（利用唯一请求编号去重）

只要请求有唯一的请求编号，那么就能借用Redis做这个去重——只要这个唯一请求编号在redis存在(设置1s过期时间)，证明处理过，那么就认为是重复的。
这种请求之前都是服务端返回一个唯一编号给客户端，客户端带着这个请求号做写操作的请求，服务端即可完成去重拦截。但是，很多的场景下，请求并不会带这样的唯一编号！那么我们能否针对请求的参数作为一个请求的标识呢？

方案二（业务参数去重）

先考虑简单的场景，假设请求参数只有一个字段reqParam，我们可以利用以下标识去判断这个请求是否重复。
缓存Key的初步设计可以确定为下面的格式：用户ID:接口名:请求参数。
如下图code1所示。这个格式可以做到当同一个用户访问同一个接口，带着同样的reqParam过来，我们就能定位到他是重复的了。

code1：
String KEY = "dedup:U="+userId + "M=" + method + "P=" + reqParam;

但是有时候我们的请求体往往是一个Object对象，里面是包含很多字段的，此刻需要将对象每一个属性按照指定的方式排序(即可转成TreeMap天然支持排序)，如果使用JSON.parseObject(reqParam, TreeMap.class)，去进行转换很可能导致Key很长; 此刻我们需要将一长串的reqParam数据抽取一个摘要出来,可以采用将长串数据转换成MD5值。MD5理论上可能会重复，但是去重通常是短时间窗口内的去重（例如一秒），一个短时间内同一个用户同样的接口能拼出不同的参数导致一样的MD5几乎是不可能的。

code2:
String KEY = "dedup:U="+userId + "M=" + method + "P=" + MD5(reqParam);

重复请求的问题到这里其实已经是一个很不错的解决方案了，但是实际投入使用的时候可能发现有些问题：某些请求用户短时间内重复的点击了（例如1000毫秒发送了三次请求），但绕过了上面的去重判断（不同的KEY值）。
原因是这些请求参数的字段里面，是带时间字段的，这个字段标记用户请求的时间，服务端可以借此丢弃掉一些老的请求（例如5秒前）。如下面的例子，请求的其他参数是一样的，除了请求时间相差了一秒：

    //两个请求一样，但是请求时间差一秒
    String req = "{\n" +
            "\"requestTime\" :\"20190101120001\",\n" +
            "\"requestValue\" :\"1000\",\n" +
            "\"requestKey\" :\"key\"\n" +
            "}";

    String req2 = "{\n" +
            "\"requestTime\" :\"20190101120002\",\n" +
            "\"requestValue\" :\"1000\",\n" +
            "\"requestKey\" :\"key\"\n" +
            "}";

这种请求，我们也很可能需要挡住后面的重复请求。所以求业务参数摘要之前，需要剔除这类时间字段。还有类似的字段可能是GPS的经纬度字（重复请求间可能有极小的差别）。

使用方案二构建请求去重工具类

@Slf4j
@Configuration
public class ReqDeDupHelper {
    
    @Autowired
    @Qualifier("objectMapper")
    private ObjectMapper objectMapper;


    /**
     * 
     * @param reqParam 原始数据
     * @param excludeKeys 需要提出参与MD5的数据
     * @return MD5(deDupParm)
     * @throws IOException
     */
    public String deDupParamMD5(final String reqParam, List<String> excludeKeys) throws IOException {

        TreeMap paramTreeMap = objectMapper.readValue(reqParam, TreeMap.class);
        if (!CollectionUtils.isEmpty(excludeKeys)) {
            for (String excludeKey : excludeKeys) {
                paramTreeMap.remove(excludeKey);
            }
        }

        String dupJsonStr = objectMapper.writeValueAsString(paramTreeMap);
        String md5deDupStr = jdkMD5(dupJsonStr);
        log.debug("md5deDupParam = {}, excludeKeys = {}", md5deDupStr, dupJsonStr);
        return md5deDupStr;
    }

    private static String jdkMD5(String src) {
        String res = null;
        try {
            MessageDigest messageDigest = MessageDigest.getInstance("MD5");
            byte[] mdBytes = messageDigest.digest(src.getBytes());
            res = DatatypeConverter.printHexBinary(mdBytes);
        } catch (Exception e) {
            log.error("jdk md have error------>",e);
        }
        return res;
    }
}