Spring Boot：高并发下浏览量入库设计

最新推荐文章于 2024-08-10 21:39:28 发布
最新推荐文章于 2024-08-10 21:39:28 发布
阅读量4k 收藏 34
点赞数 7
文章标签： SpringBoot Redis 高并发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42036952/article/details/100088348
版权

文章目录

一、背景

文章浏览量统计，low的做法是：用户每次浏览，前端会发送一个GET请求获取一篇文章详情时，会把这篇文章的浏览量+1，存进数据库里。

1.1 这么做，有几个问题：
  1. 在GET请求的业务逻辑里进行了数据的写操作！
  2. 并发高的话，数据库压力太大；
  3. 同时，如果文章做了缓存和搜索引擎如ElasticSearch的存储，同步更新缓存和ElasticSearch更新同步更新太耗时，不更新就会导致数据不一致性。
1.2 解决方案
  • HyperLogLog

HyperLogLog是Probabilistic data Structures的一种，这类数据结构的基本大的思路就是使用统计概率上的算法，牺牲数据的精准性来节省内存的占用空间及提升相关操作的性能。

  • 设计思路
  1. 为保证真实的博文浏览量，根据用户访问的ip和文章id,进行唯一校验，即同一个用户多次访问同一篇文章，改文章访问量只增加1；
  2. 将用户的浏览量用opsForHyperLogLog().add(key,value)的存储在Redis中，在半夜浏览量低的时候，通过定时任务，将浏览量更新至数据库中。

二、 手把手实现

2.1 项目配置
  • sql
DROP TABLE IF EXISTS `article`;

CREATE TABLE `article` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
  `title` varchar(100) NOT NULL COMMENT '标题',
  `content` varchar(1024) NOT NULL COMMENT '内容',
  `url` varchar(100) NOT NULL COMMENT '地址',
	`views` bigint(20) NOT NULL COMMENT '浏览量',
  `create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  PRIMARY KEY (`id`)
) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

INSERT INTO article VALUES(1,'测试文章','content','url',10,NULL);

插入了一条数据，并设计访问量已经为10了，便于测试。

  • 项目依赖pom.xml
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-aop</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-test</artifactId>
</dependency>
<!--mysql-->
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
</dependency>
<!-- mybatis -->
<dependency>
    <groupId>org.mybatis.spring.boot</groupId>
    <artifactId>mybatis-spring-boot-starter</artifactId>
    <version>1.3.2</version>
</dependency>
<!-- redis -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-pool2</artifactId>
    <version>2.0</version>
</dependency>
<!-- lombok-->
<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <optional>true</optional>
</dependency>
  • application.yml
spring:
  # 数据库配置
  datasource:
    url: jdbc:mysql://47.98.178.84:3306/dev
    username: dev
    password: password
    driver-class-name: com.mysql.cj.jdbc.Driver
  redis:
    host: 47.98.178.84
    port: 6379
    database: 1
    password: password
    timeout: 60s  # 连接超时时间，2.0 中该参数的类型为Duration，这里在配置的时候需要指明单位
    # 连接池配置，2.0中直接使用jedis或者lettuce配置连接池（使用lettuce，依赖中必须包含commons-pool2包）
    lettuce:
      pool:
        # 最大空闲连接数
        max-idle: 500
        # 最小空闲连接数
        min-idle: 50
        # 等待可用连接的最大时间，负数为不限制
        max-wait:  -1s
        # 最大活跃连接数，负数为不限制
        max-active: -1


# mybatis
mybatis:
  mapper-locations: classpath:mapper/*.xml
#  type-aliases-package: cn.van.redis.view.entity
2.2 浏览量的切面设计
  • 自定义一个注解，用于新增文章浏览量到Redis中
@Target({ElementType.PARAMETER, ElementType.METHOD})
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface PageView {
    /**
     * 描述
     */
    String description()  default "";
}
  • 切面处理
 @Aspect
@Configuration
@Slf4j
public class PageViewAspect {

    @Autowired
    private RedisUtils redisUtil;

    /**
     * 切入点
     */
    @Pointcut("@annotation(cn.van.redis.view.annotation.PageView)")
    public void PageViewAspect() {

    }

    /**
     * 切入处理
     * @param joinPoint
     * @return
     */
    @Around("PageViewAspect()")
    public  Object around(ProceedingJoinPoint joinPoint) {
        Object[] object = joinPoint.getArgs();
        Object articleId = object[0];
        log.info("articleId:{}", articleId);
        Object obj = null;
        try {
            String ipAddr = IpUtils.getIpAddr();
            log.info("ipAddr:{}", ipAddr);
            String key = "articleId_" + articleId;
            // 浏览量存入redis中
            Long num = redisUtil.add(key,ipAddr);
            if (num == 0) {
                log.info("该ip:{},访问的浏览量已经新增过了", ipAddr);
            }
            obj = joinPoint.proceed();
        } catch (Throwable e) {
            e.printStackTrace();
        }
        return obj;
    }
}
  • 工具类RedisUtils.java
 @Component
public  class RedisUtils {

    @Resource
    private RedisTemplate<String, Object> redisTemplate;

    /**
     * 删除缓存
     * @param key 可以传一个值 或多个
     */
    public void del(String... key) {
        redisTemplate.delete(key[0]);
    }

    /**
     * 计数
     * @param key
     * @param value
     */
    public Long add(String key, Object... value) {
        return redisTemplate.opsForHyperLogLog().add(key,value);
    }
    /**
     * 获取总数
     * @param key
     */
    public Long size(String key) {
        return redisTemplate.opsForHyperLogLog().size(key);
    }

}
  • 工具类 IpUtils.java

该工具类我在Mac下测试没问题，Windows下如果有问题，请反馈给我

 @Slf4j
public class IpUtils {

    public static String getIpAddr() {
        try {
            Enumeration<NetworkInterface> allNetInterfaces = NetworkInterface.getNetworkInterfaces();
            InetAddress ip = null;
            while (allNetInterfaces.hasMoreElements()) {
                NetworkInterface netInterface = (NetworkInterface) allNetInterfaces.nextElement();
                if (netInterface.isLoopback() || netInterface.isVirtual() || !netInterface.isUp()) {
                    continue;
                } else {
                    Enumeration<InetAddress> addresses = netInterface.getInetAddresses();
                    while (addresses.hasMoreElements()) {
                        ip = addresses.nextElement();
                        if (ip != null && ip instanceof Inet4Address) {
                            log.info("获取到的ip地址：{}", ip.getHostAddress());
                            return ip.getHostAddress();
                        }
                    }
                }
            }
        } catch (Exception e) {
            log.error("获取ip地址失败，{}",e);
        }
        return null;
    }
}
2.3 同步任务ArticleViewTask.java

ArticleService.java里面的代码比较简单，详见文末源码。

@Component
@Slf4j
public class ArticleViewTask {

    @Resource
    private RedisUtils redisUtil;
    @Resource
    ArticleService articleService;

	// 每天凌晨一点执行
    @Scheduled(cron = "0 0 1 * * ? ")
    @Transactional(rollbackFor=Exception.class)
    public void createHyperLog() {
        log.info("浏览量入库开始");

        List<Long> list = articleService.getAllArticleId();
        list.forEach(articleId ->{
            // 获取每一篇文章在redis中的浏览量，存入到数据库中
            String key  = "articleId_"+articleId;
            Long view = redisUtil.size(key);
            if(view>0){
                ArticleDO articleDO = articleService.getById(articleId);
                Long views = view + articleDO.getViews();
                articleDO.setViews(views);
                int num = articleService.updateArticleById(articleDO);
                if (num != 0) {
                    log.info("数据库更新后的浏览量为：{}", views);
                    redisUtil.del(key);
                }
            }
        });
        log.info("浏览量入库结束");
    }

}
2.4 测试接口PageController.java
@RestController
@Slf4j
public class PageController {

    @Autowired
    private ArticleService articleService;

    @Autowired
    private RedisUtils redisUtil;

    /**
     * 访问一篇文章时，增加其浏览量:重点在的注解
     * @param articleId：文章id
     * @return
     */
    @PageView
    @RequestMapping("/{articleId}")
    public String getArticle(@PathVariable("articleId") Long articleId) {
        try{
            ArticleDO blog = articleService.getById(articleId);
            log.info("articleId = {}", articleId);
            String key = "articleId_"+articleId;
            Long view = redisUtil.size(key);
            log.info("redis 缓存中浏览数：{}", view);
            //直接从缓存中获取并与之前的数量相加
            Long views = view + blog.getViews();
            log.info("文章总浏览数：{}", views);
        } catch (Throwable e) {
            return  "error";
        }
        return  "success";
    }
}

这里，具体的Service中的方法因为都被我放在Controller中处理了，所以就是剩下简单的Mapper调用了，这里就不浪费时间了，详见文末源码。（按理说，这些逻辑处理，应该放在Service处理的，请按实际情况优化）

三、 测试

启动项目，测试访问量，先请求http://localhost:8080/1,日志打印如下：

2019-03-2623:50:50.047  INFO 2970 --- [nio-8080-exec-1]  cn.van.redis.view.aspect.PageViewAspect  : articleId:1
2019-03-2623:50:50.047  INFO 2970 --- [nio-8080-exec-1] cn.van.redis.view.utils.IpUtils          : 获取到的ip地址：192.168.1.104
2019-03-2623:50:50.047  INFO 2970 --- [nio-8080-exec-1] cn.van.redis.view.aspect.PageViewAspect  : ipAddr:192.168.1.104
2019-03-2623:50:50.139  INFO 2970 --- [nio-8080-exec-1] io.lettuce.core.EpollProvider            : Starting without optional epoll library
2019-03-2623:50:50.140  INFO 2970 --- [nio-8080-exec-1] io.lettuce.core.KqueueProvider           : Starting without optional kqueue library
2019-03-2623:50:50.349  INFO 2970 --- [nio-8080-exec-1] com.zaxxer.hikari.HikariDataSource       : HikariPool-1 - Starting...
2019-03-2623:50:50.833  INFO 2970 --- [nio-8080-exec-1] com.zaxxer.hikari.HikariDataSource       : HikariPool-1 - Start completed.
2019-03-2623:50:50.872  INFO 2970 --- [nio-8080-exec-1] c.v.r.v.web.controller.PageController    : articleId = 1
2019-03-2623:50:50.899  INFO 2970 --- [nio-8080-exec-1] c.v.r.v.web.controller.PageController    : redis 缓存中浏览数：1
2019-03-2623:50:50.900  INFO 2970 --- [nio-8080-exec-1] c.v.r.v.web.controller.PageController    : 文章总浏览数：11

观察一下，数据库，访问量确实没有增加，本机再次访问，发现，日志打印如下:

2019-03-2623:51:14.658  INFO 2970 --- [nio-8080-exec-3] 
cn.van.redis.view.aspect.PageViewAspect  : articleId:1
2019-03-2623:51:14.658  INFO 2970 --- [nio-8080-exec-3] cn.van.redis.view.utils.IpUtils          : 获取到的ip地址：192.168.1.104
2019-03-2623:51:14.658  INFO 2970 --- [nio-8080-exec-3] cn.van.redis.view.aspect.PageViewAspect  : ipAddr:192.168.1.104
2019-03-2623:51:14.692  INFO 2970 --- [nio-8080-exec-3] cn.van.redis.view.aspect.PageViewAspect  : 该ip:192.168.1.104,访问的浏览量已经新增过了
2019-03-2623:51:14.752  INFO 2970 --- [nio-8080-exec-3] c.v.r.v.web.controller.PageController    : articleId = 1
2019-03-2623:51:14.760  INFO 2970 --- [nio-8080-exec-3] c.v.r.v.web.controller.PageController    : redis 缓存中浏览数：1
2019-03-2623:51:14.761  INFO 2970 --- [nio-8080-exec-3] c.v.r.v.web.controller.PageController    : 文章总浏览数：11
  • 定时任务触发，日志打印如下
2019-03-27 01:00:00.265  INFO 2974 --- [   scheduling-1] cn.van.redis.view.task.ArticleViewTask   : 浏览量入库开始
2019-03-27 01:00:00.448  INFO 2974 --- [   scheduling-1] io.lettuce.core.EpollProvider            : Starting without optional epoll library
2019-03-27 01:00:00.449  INFO 2974 --- [   scheduling-1] io.lettuce.core.KqueueProvider           : Starting without optional kqueue library
2019-03-27 01:00:00.663  INFO 2974 --- [   scheduling-1] cn.van.redis.view.task.ArticleViewTask   : 数据库更新后的浏览量为：11
2019-03-27 01:00:00.682  INFO 2974 --- [   scheduling-1] cn.van.redis.view.task.ArticleViewTask   : 浏览量入库结束

观察一下数据库，发现数据库中的浏览量增加到11，同时，Redis中的浏览量没了，说明成功！

四、 源码及说明

4.1 源码地址

Github 示例代码

4.2 技术交流
  1. 风尘博客
  2. 风尘博客-博客园
  3. 风尘博客-CSDN
  4. 风尘博客-掘金

关注公众号，了解更多：

风尘博客

风尘博客
关注
专栏目录
Springboot网站用户的访问量统计
05-26
Springboot网站用户的访问量统计，代码加入了线程，根据自己的需求下载，不需要线程的留下邮箱
Spring Boot实战解决高并发数据入库: Redis 缓存+MySQL 批量入库
热门推荐
通往精英的成长之路
08-08 1万+
前言 最近在做阅读类的业务，需要记录用户的PV，UV； 项目状况：前期尝试业务阶段； 特点： 快速实现（不需要做太重，满足初期推广运营即可） 快速投入市场去运营 收集用户的原始数据，三要素： 谁 在什么时间 阅读哪篇文章 提到PV，UV脑海中首先浮现特点： 需要考虑性能（每个客户每打开一篇文章进行记录） 允许数据有较小误差（少部分数据丢失） 架构设计 架构图： 时序图 记录基础数据MySQL表结构 CREATE TABLE `zh_article_count` ( `id`
【wiki知识库】09.欢迎页面展示（浏览量统计）SpringBoot部分
最新发布
qq_61024956的博客
08-10 1329
wiki知识库，基本完结。
CookieUtils--cookie工具
踟蹰千年的博客
02-22 618
CookieUtils /** * * @Title: CookieUtils.java * @Package com.imooc.utils * @Description: Cookie 工具类 * Copyright: Copyright (c) * Company: www.imooc.com * * @author imooc * @version V1.0 */...
SpringBoot利用ThreadPoolTaskExecutor批量插入百万级数据实测！
02-01 1341
SpringBoot利用ThreadPoolTaskExecutor批量插入百万级数据实测！
高并发下文章点击量设计
西木风落
01-13 2876
游客或者会员在点击文章的时候，需要对文章的点击量做一个计数统计。考虑到点击量计数的准确性，有以下几个需求： 用户可以不需要登录 每当用户点击文章的详情页面，这个文章的点击量+1 用户能实时看到文章点击量，也就是用户点击后能及时看到+1 点击量最终保存在数据库中，最终一致性 作者在后台编辑文章然后保存时，如果这期间有点击量的增加，保存文章时不能覆盖掉这段时间的增量 需要对用户去重处理，也...
看完这篇还不会高并发浏览数设计，我跪搓衣板，99%程序员已收藏
不是太高的手的专栏
08-19 256
前言 在经历了，缓存、限流、布隆穿透等等一系列加强功能，十万博客基本算是成型，网站上线以后也加入了百度统计来见证十万+ 的整个过程。 但是百度统计并不能对每篇博文进行详细的浏览量统计，如果做一些热点博文排行、48小时排行之类统计，还需要引入浏览量统计功能。 设计 通常情况下，我们只需要每次请求浏览量+1，但是这样真的好吗？或者更直白的讲，真实浏览数准确吗？ UPDATE blog SET vi...
从SpringBoot构建十万博文聊聊高并发文章浏览量设计
不是太高的手的专栏
08-19 495
点击▲关注 “爪哇笔记” 给公众号标星置顶更多精彩 第一时间直达前言在经历了，缓存、限流、布隆穿透等等一系列加强功能，十万博客基本算是成型，网站上线以后也加入了百度统...
基于Spring Boot的二手车交易网站设计与实现
weixin_51972589的博客
09-28 1287
摘要：二手车交易网站以Eclipse 作为本课题开发环境，采用Java语言、Spring Boot框架和Mysql数据库搭建而成的项目。二手车交易网站中一共包含三个角色，分别为：用户、车主、系统管理员。本系统用户模块的功能有查看个人首页、管理个人中心、管理订单信息、个人收藏模块、系统估价、反馈评论模块。车主模块实现的部分有首页信息模块、个人中心模块、反馈评论模块、系统估价、上报资料管理等模块，管理员模块分为管理员首页信息、管理员中心、用户管理、车主管理、资料信息管理审核、汽车类型管理、汽车信息管理审核等
"基于Spring Boot的化妆品商城管理系统设计与实现
因此，基于Spring Boot的化妆品商城管理系统提供了一套完整的解决方案，旨在方便用户对化妆品的购买，以及商家对化妆品的采购、管理、入库、销售等业务的管理，从而减少商家的工作量，提高用户的购物体验。...
SpringBoot+Redis简单实现文章浏览量记录
wl_Honest的博客
02-23 5456
现在做的大部分项目都用到了SpringBoot和Redis，不过实际开发中，Redis只存了Token之类的数据，大部分的增删改查还是直接走的MySQL数据库。这2天逛论坛发现其实很多场景其实更需要Redis这样的存在，于是参考网上的代码简单做了个文章浏览量记录的Demo。 首先放出maven依赖： <dependencies> <dependency> <groupId>junit</groupId> <artif
springboot记录api的访问次数
03-12
springboot入门工程,可是开始计数,终止计数,清空计数.只保存最近一分钟以内的访问次数
Spring boot点赞统计量
05-25
使用Spring boot实现的点击博客的点赞统计使用Spring boot实现的点击博客的点赞统计
SpringBoot Logback日志记录到数据库的实现方法
08-25
主要介绍了SpringBoot Logback日志记录到数据库的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
springboot项目浏览次数增加实现方案
weixin_43401380的博客
12-19 1682
项目场景实战详细介绍浏览次数加一问题实现方案
SpringBoot+Mybatis+定时任务实现大数据量数据分表记录和查询
BADAO_LIUMANG_QIZHI的博客
08-08 3148
业务场景：需要记录大量定位数据，形成轨迹回放功能。此时不能将所有的点位数据存储进一个表中，需要进行分表操作，涉及如下几个步骤1、一个建立一个新表，表名以日期结尾。2、每天的点位数据存储进对应日期的表中。3、按照时间区间参数查询点位表时，关联多个表的查询结果并返回。在上面的框架的使用基础上，在定时任务中执行固定的代码，在代码中获取某个表的建表语句，然后以时间为后缀新建新的一个表。...
高并发文章浏览量计数系统设计
good7ob的博客
01-07 429
在面试中，架构设计问题是常见的考察点之一。其中，针对高并发场景下的系统设计问题尤为重要，本文将通过一个生动通顺的方式，结合实际案例，为您详细介绍如何设计一个高并发文章浏览量计数系统。
Spring Boot入门（12）实现页面访问量统计功能
weixin_34187862的博客
07-08 3410
  在日常的网站使用中，经常会碰到页面的访问量（或者访问者人数）统计。那么，在Spring Boot中该如何实现这个功能呢？  我们的想法是比较简单的，那就是将访问量储存在某个地方，要用的时候取出来即可，储存的位置可选择数据库或者其他文件。本例所使用的例子为txt文件，我们将访问量数据记录在D盘的count.txt文件中。  下面直接开始...
Spring Boot基础教程 - 程序猿DD
程序猿DD
02-23 1361
该教程内容不定时更新，如您对这些内容感兴趣，可以关注我的博客或微信公众号！ 本教程示例代码： GitHub：https://github.com/dyc87112/SpringBoot-Learning 开源中国：http://git.oschina.net/didispace/SpringBoot-Learning 欢迎点击项目右上方的Star按钮，给予支持！！ 如有问题，可联系：d...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值