springboot整合redis实现HyperLogLog统计文章浏览量&&使用过期策略完成数据库同步

springboot整合redis实现HyperLogLog统计文章浏览量&&使用过期策略完成数据库同步

1、为什么选择Redis中的Hyperloglog存储

Redis HyperLogLog是用来做基数统计的算法，HyperLogLog的优点是，在输入元素的数量或者体积非常大时，计算基数所需的空间总是固定的，并且是很小的

在Redis里面，每个HyperLogLog键只需花费12KB内存，就可以计算出接近2^64个不同元素的基数，这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比；比如说文章浏览量的统计，我们需要将文章的唯一标识主键作为key，将用户访问ip作为value，而且为防止同一用户同一时刻多次访问该文章，我们可以使用redis中的set做到去重，在redis的中结果会是这样的

虽然我们可以通过redis key过期策略定时将过期的key数据写入数据库中，但是在短时间内访问量大的需求下存储这些ip地址仍需要耗费大量的内存

但是，如果使用HyperLogLog完全不用担心这个问题，因为HyperLogLog只会根据输入元素来计算基数，而不会存储输入元素本身，所以HyperLogLog是不能够拿到key返回各个元素的值的，不过这刚好符合我们文章浏览量统计的场景：ip去重（防止同一用户在一段时间间隔内频繁访问同一篇文章），数据量再大也不会耗费多余的内存（12KB）

HyperLogLog使用起来是这个样子的

通过可视化界面查看保存的value可以发现value并没有存储ip地址，也就意味着无法通过key去获取ip地址

HyperLogLog采用的是基数统计，那什么是基数呢

2、什么是基数

比如数据集 {1, 3, 5, 7, 5, 7, 8}， 那么这个数据集的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素)为5。 基数估计就是在误差可接受的范围内，快速计算基数。

3、实战中使用HyperLogLog统计文章浏览量

1、搭建环境

添加依赖：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

<!--工具类  用来做JSON与实体间的相互转换-->
<dependency>
    <groupId>cn.hutool</groupId>
    <artifactId>hutool-all</artifactId>
    <version>5.7.17</version>
</dependency>

配置：

spring:
  redis:
    host: 192.168.137.7

2、核心代码

既然是统计文章浏览量，那么应该是在展示文章详情的时候去给文章浏览量+1，而为了不影响原来查询文章详情的响应速度，我们采用rabbitmq做异步，因mq不是本文的介绍重点，有需要的小伙伴可以移步
SpringBoot整合RabbitMQ 5种模式的注解绑定

1、发送消息

下面的代码中，需要传入HttpServletRequest去获取请求的ip地址，还有文章的id，将这两个参数封装成map并转化为JSON字符串格式传递

/**
   * 异步处理文章浏览量自增
   *
   * @param request
   * @param article
   */
  private void handleArticlePageViewIncrement(HttpServletRequest request, Article article) {
    // 封装map并转化为Json格式
    HashMap<String, Object> map = new HashMap<>();
    String ipAddr = IpUtils.getIpAddr(request);
    // 此处的key应该换成静态常量才比较规范
    map.put("ip", ipAddr);
    map.put("articleid", article.getId());

    // mq采用的是direct模式
    rabbitTemplate.convertAndSend(ARTICLE_EXCHANGE, ARTICLE_PAGEVIEW_ROUTING, JSONUtil.toJsonStr(map));
  }

2、消息接受者

添加监听浏览量自增的消息接受者

/**
 * 监听文章浏览量自增
 * @param mapStr
 */
@Override
@RabbitListener(bindings = @QueueBinding(
        value = @Queue(name = ARTICLE_PAGEVIEW_QUEUE),
        exchange = @Exchange(name = ARTICLE_EXCHANGE, type = ExchangeTypes.DIRECT),
        key = ARTICLE_PAGEVIEW_ROUTING
))
public void addArticlePageview(String mapStr) {
  redisService.articlePageviewIncrement(mapStr);
}

3、消息处理

将拿去到的JSON字符串转换为Map实体

在下面代码中重复添加了2次缓存，这是为了监听key过期时还能过拿取到数据

/**
   * 文章浏览量自增
   *
   * @param mapStr
   */
  @Override
  public void articlePageviewIncrement(String mapStr) {
    Map map = JSONUtil.toBean(mapStr, Map.class);
    String ipAddr = map.get("ip").toString();
    String articleid = map.get("articleid").toString();
    if (ObjectUtil.hasEmpty(ipAddr, articleid)) {
      log.error("ip地址或者文章id为空！");
      return;
    }
    String key = ARTICLE_ID_KEY + articleid;
    String key_copy = PREFIX + ARTICLE_ID_KEY + articleid;
    // 添加2次缓存
    Long status = stringRedisTemplate.opsForHyperLogLog().add(key, ipAddr);
    // 设置过期时间
    stringRedisTemplate.expire(key, 1, TimeUnit.HOURS);
    stringRedisTemplate.opsForHyperLogLog().add(key_copy, ipAddr);
    if (status == 0) {
      log.info("该ip地址：{}重复访问文章id:{}", ipAddr, articleid);
    }
  }

4、监听key过期并写入数据库

修改redis.conf开启key过期监听 notify-keyspace-events " " 修改为 notify-keyspace-events Ex 这样redis就支持过期key的监听了

创建监听类

@Component
public class KeyExpiredListener extends KeyExpirationEventMessageListener {

  @Autowired
  private StringRedisTemplate stringRedisTemplate;
  @Autowired
  private ArticleService articleService;

  public KeyExpiredListener(RedisMessageListenerContainer listenerContainer) {
    super(listenerContainer);
  }

 @Override
  public void onMessage(Message message, byte[] pattern) {
    String expirekey = message.toString();
    Long size = stringRedisTemplate.opsForHyperLogLog().size(PREFIX + expirekey);
    stringRedisTemplate.delete(PREFIX + expirekey);
    if (expirekey.startsWith(PREFIX + expirekey)) {
      String articleid = expirekey.substring(ARTICLE_ID_KEY.length());
      articleService.updateArticlePageview(articleid, size);
    }
  }
}

定时任务

在监听类中对过期的key的数据写入数据库，为了确保数据的稳定性，防止有key不断被延长过期时间，选择在每天的早上2点将数据写入数据库

/**
   * 定时更新文章浏览量
   */
  @Override
  @Scheduled(cron = "0 0 2 * * ?") // 每天2:00更新
  public void scheduledUpdatePageview() {
    log.error("检查是否更新文章");
    Set<String> keys = stringRedisTemplate.keys(PREFIX + ARTICLE_ID_KEY + "*");
    for (String key : keys) {
      // 获取文章id
      String articleid = key.substring(PREFIX.length() + ARTICLE_ID_KEY.length());
      log.error("更新文章：{}", articleid);
      // 获取文章浏览量
      Long size = stringRedisTemplate.opsForHyperLogLog().size(key);
      // 更新成功删除key
      if (articleService.updateArticlePageview(articleid, size)) {
        stringRedisTemplate.delete(key);
        stringRedisTemplate.delete(key.substring(PREFIX.length()));
      }
    }
  }

如果你对本文有什么疑问，欢迎评论留言