过滤重复数据

1. 定时任务或者一些需要大量处理数据操作时，传统方式都是查询数据库后进行判断，带来弊端就是大量IO造成数据库连接打满，严重影响性能。
2. 基于两级缓存优化数据判重

实现代码如下：

package com.mingxing.study.common.utils;

import com.google.common.collect.Maps;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;

import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.TimeUnit;

/**
 * @Description: 过滤重复数据（用于定时任务判断重复数据,避免大量耗时查询数据库IO）
 * 此方法适用于单次执行任务，且数据量不是特别巨大
 * @ClassName: FilterRepeatDataUtil
 * @Author zhaomxr
 * @Date 2021-09-16 15:35
 */
@Slf4j
@Component
public class FilterRepeatDataUtil {

    @Autowired
    private RedisTemplate redisTemplate;

    /**
     * 已存在数据缓存key
     */
    private final static String EXISTDATA_KEY = "exist-data-default";

    private static Map<String, Boolean> existData = new HashMap<>(16);

    public boolean isExist(boolean nativeCache, String key) {
        return nativeCache ? isExistByNativeAndRedis(key) : isExistRedis(key);
    }

    /**
     * 只判断redis
     * @param key
     * @return
     */
    public boolean isExistRedis(String key) {
        // 判断redis缓存中是否存在此条记录
        Object data = redisTemplate.opsForHash().get(EXISTDATA_KEY, key);
        if (data != null) {
            log.info("redis 中 h={} hk={} {}", EXISTDATA_KEY, key, "存在");
            return true;
        }

        //如果redis缓存不存在，就将当前key放入redis
        redisTemplate.opsForHash().putIfAbsent(EXISTDATA_KEY, key, true);
        redisTemplate.expire(EXISTDATA_KEY, 1, TimeUnit.DAYS);
        return false;
    }

    /**
     * 同时判断本地和redis
     * @param key
     * @return
     */
    public boolean isExistByNativeAndRedis(String key) {
        if (existData.containsKey(key)) {
            log.info("existData 中 key={} {}", key, "存在");
            return true;
        }

        // 判断redis缓存中是否存在此条记录，如果本地existData中不存在且redis中存在就将redis中key更新到本地
        Object data = redisTemplate.opsForHash().get(EXISTDATA_KEY, key);
        if (data != null) {
            log.info("redis 中 h={} hk={} {}", EXISTDATA_KEY, key, "存在");
            existData.put(key, true);
            return true;
        }

        //如果redis缓存和本地existData中都不存在，就将当前key同时放入本地和redis
        existData.put(key, true);
        redisTemplate.opsForHash().putIfAbsent(EXISTDATA_KEY, key, true);
        return false;
    }

    public void clear() {
        existData = new HashMap<>(16);
        redisTemplate.delete(EXISTDATA_KEY);
    }
}