项目1在线交流平台-7.构建安全高效的企业服务-5.redis高级数据结构应用-统计网站数据-独立访客和日活跃用户

已于 2022-04-07 14:47:17 修改
阅读量1.1k 收藏
点赞数 1
分类专栏： 项目笔记总结 文章标签： java spring 后端 kafka redis
于 2022-04-07 14:46:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xingzhes_/article/details/123997389
版权

文章目录


参考牛客网高级项目教程
狂神说Redis教程笔记

功能需求

在这里插入图片描述

  • 1.拥有管理员权限的管理员可以统计对社区网站的独立访客

    • 没有登录的游客也统计在内，因此，使用ip去重统计
    • 使用redis的HyperLogLog数据类型
      • -性能好、储存空间小，无需非常精确（因为含有没登录的游客，统计出访问量大小即可）

  • 2.管理员可以统计出日活跃用户

    • 因为是对已登录用户状态的统计-要求精度
    • 因此使用BitMap数据结构比较合适
    • 以天为单位，每天只要访问过一次，就定位活跃状态

  • 3.开发出记录、查询和显示的网页

一、dao层定义redis数据的key

  • 通过日期定位到key,因此，要根据字符串类型的日期来拼接key
  • 要查询指定区间的数据-可以用redis的两个数据类型的合并功能，
    • 要使用区间的开始和结束时间拼接key来接收合并的结果
    • 合并时，要拿出区间中每天的时间拼接出单日的key集合
private static final String PREFIX_UV = "uv";   // 独立访客
private static final String PREFIX_DAU = "dau"; // 日活跃用户

/**
 * 定义单日独立访客UV的key
 * 通过日期定位到key
 */
public static String getUV(String date) {
    return PREFIX_UV + SPLIT + date;
}

/**
 * 定义区间UV的key
 * 查询一段时间的UV-合并处理
 */
public static String getUV(String startDate, String endDate) {
    return PREFIX_UV + SPLIT + startDate + SPLIT + endDate;
}

/**
 * 定义单日活跃用户DAU的key
 * 同样通过日期定位到key
 */
public static String getDAU(String date) {
    return PREFIX_DAU + SPLIT + date;
}

/**
 * 定义区间活跃用户DAU的key
 * 查询一段时间的DAU-合并处理
 */
public static String getDAU(String startDate, String endDate) {
    return PREFIX_DAU + SPLIT + startDate + SPLIT + endDate;
}

二、Service层处理业务逻辑

1. 对独立访客UV的记录与查询

记录
  • 将指定IP记入UV-最后统计不同的IP数目
new SimpleDateFormat("yyyyMMdd")
  • 创建指定日期格式的日期转换器实例
  • 注意，本网站统计只精缺到天，不紧缺到时分秒，否则key很难取到
format(new Date())- 日期类型转为指定日期格式字符串类型
@Service
public class DataService {
    /**创建指定日期格式的日期转换器实例 */
    private SimpleDateFormat sf = new SimpleDateFormat("yyyyMMdd");
    @Autowired
    RedisTemplate redisTemplate;

    /**
     * 对UV的记录
     * @param ip 将指定IP记入UV-最后统计不同的IP数目
     */
    public void addUV(String ip) {
        String UVKey = RedisKeyUtil.getUV(sf.format(new Date()));
        redisTemplate.opsForHyperLogLog().add(UVKey, ip);
    }
}
查询
  • 支持区间查询，当查询一天日期时，区间长度设为1即可
Calendar类
  • date类 和 simpleDateFormat类能够格式化并创建一个日期对象了，
  • 但是我们如何才能设置和获取日期数据的特定部分呢，比如说小时，日，或者分钟?
  • 我们又如何在日期的这些部分加上或者减去值呢? 答案是使用Calendar类。Date中有很多方法都已经废了！
  • Calendar类的功能要比Date类强大很多，而且在实现方式上也比Date类要复杂一些。
  • Calendar类是一个抽象类，在实际使用时实现特定的子类的对象，创建对象的过程对程序员来说是透明
    的，只需要使用getInstance方法创建即可。
Calendar.getInstance()- 实例化操作日期的Calendar类

  • 默认是当前日期

  • 也可以创建指定日期的Calendar对象

    在这里插入图片描述

Calendar类对象字段类型
日期字段全局静态变量：

在这里插入图片描述

对日期的获取与设置
  • 注意：Calender的月份是从0开始的，但日期和年份是从1开始的
    • 注意月份的获取，会比当前时间少1，获取后要加1
    • 因此，设置月份的时候，都减1，例如设置6，参数填5
setTime(data)- 传入日期格式数据
getTime(data)- 获取data日期

在这里插入图片描述

对日期的修改-add
calendar.set(1999, 3 - 1, 30);
System.out.println(calendar.get(Calendar.MONTH) + 1); // 3

//把c1对象的日期加上10，也就是c1也就表示为10天后的日期，其它所有的数值会被重新计算
calendar.add(Calendar.DATE, 10);
System.out.println(calendar.get(Calendar.DATE));	 // 9
System.out.println(calendar.get(Calendar.MONTH) + 1); // 4
//把c1对象的日期减去10，也就是c1也就表示为10天前的日期，其它所有的数值会被重新计算
calendar.add(Calendar.DATE, -10);
System.out.println(calendar.get(Calendar.DATE));	// 30
System.out.println(calendar.get(Calendar.MONTH) + 1);// 3

3
9
4
30
3
HyperLogLog合并查询
  • 整理该日期范围内的key,放进List集合中
opsForHyperLogLog().union(UVKey, keyList.toArray())
  • 将整理后的key集合转为数组-数据合并到一个UVKey中去
.before(date)- 在date日期之前

  • Date日期类的API

    在这里插入图片描述

/**
 * 对UV的查询
 *     支持区间查询，当查询一天日期时，区间长度设为1即可
 * @param start    查询区间起始时间
 * @param end      查询区间结束时间
 */
public long calculateUV(Date start, Date end) {
    String UVKey = RedisKeyUtil.getUV(sf.format(start), sf.format(end));
    if (start == null || end == null) { // 先判空
        throw new IllegalArgumentException("参数不能为空!");
    }
    
    // 整理该日期范围内的key
    List<String> keyList = new ArrayList<>();
    Calendar calendar = Calendar.getInstance(); // 实例化操作日期的Calendar实例
    calendar.setTime(start);    // 设置日期
    String key;
    while (calendar.getTime().before(end)) {
        // 获取区间时间的每一天的时间，设置为key
        key = RedisKeyUtil.getUV(sf.format(calendar.getTime()));
        keyList.add(key);
        calendar.add(Calendar.DATE, 1); // 每次天数加1
    }
    
    // 合并这些数据
    redisTemplate.opsForHyperLogLog().union(UVKey, keyList.toArray());
    
    // 返回合并后的key的统计结果
    return redisTemplate.opsForHyperLogLog().size(UVKey);
}

2. 对日活跃用户的记录与查询

记录

  • 使用BitMap数据结构

  • 以用户id为位数， 对改位设置为true

/**
 * 对DAU的记录
 *      以用户id为位数， 对改位设置为true
 * @param userid  日活跃用户的id
 */
public void addDAU(int userid) {
    String DAUKey = RedisKeyUtil.getDAU(sf.format(new Date()));
    redisTemplate.opsForValue().setBit(DAUKey, userid, true);
}
查询

  • 合并key的数据，用OR运算，只要在区间内的时间，有一天活跃，都是活跃用户

  • 传参，是每个key的byte数组，故，就是keyList的二维数组表示形式

    redisConnection.bitOp(RedisStringCommands.BitOperation.OR,
                        DAUKey.getBytes(), keyList.toArray(new byte[0][0]));

  • 注意：集合中装的是key的byte数组

/**
 * 对DAU的查询
 */
public long calculateDAU(Date start, Date end) {
    if (start == null || end == null) {
        throw new IllegalArgumentException("参数不能为空!");
    }

    // 整理该日期范围内的key
    // 注意：集合中装的是key的byte数组形式
    List<byte[]> keyList = new ArrayList<>();
    Calendar calendar = Calendar.getInstance();
    calendar.setTime(start);
    while (!calendar.getTime().after(end)) {
        String key = RedisKeyUtil.getDAU(df.format(calendar.getTime()));
        keyList.add(key.getBytes());
        calendar.add(Calendar.DATE, 1);
    }

    // 进行OR运算
    return (long) redisTemplate.execute(new RedisCallback() {
        @Override
        public Object doInRedis(RedisConnection connection) throws DataAccessException {
            String redisKey = RedisKeyUtil.getDAU(df.format(start), df.format(end));
            if(!keyList.isEmpty()) {
                connection.bitOp(RedisStringCommands.BitOperation.OR,
                        redisKey.getBytes(), keyList.toArray(new byte[0][0]));
            }
            return connection.bitCount(redisKey.getBytes());
        }
    });
}

三、拦截器中记录访问数据

  • 因为每次请求中都要记录UV，DAU，故，可以定义拦截器在请求初去记录这些数据

1. 拦截器定义

request.getRemoteAddr()- 获取ip地址
  • 从请求体中获取ip地址
  • 记录活跃用户DAU时，注意先判断是否为登录用户
@Component
public class DataInterceptor implements HandlerInterceptor {
    @Autowired
    HostHolder hostHolder;
    
    @Autowired
    DataService dataService;
    
    // 在controller处理请求前拦截记录
    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        // 记录UV
        String ip = request.getRemoteAddr(); // 从请求体中获取ip地址
        dataService.addUV(ip);
        
        // 记录DAU
        User user = hostHolder.getUser();
        if (user != null) {	// 边界判断
            dataService.addDAU(user.getId());
        }
        return true;
    }
}

2. 拦截器配置


registry.addInterceptor(dataInterceptor)
        .excludePathPatterns("/**/*.css", "/**/*.js", "/**/*.png", "/**/*.jpg", "/**/*.jpeg");

四、Controller处理查询请求

1. 显示管理员统计数据页面请求

  • 支持get，post请求
  • 直接访问是get请求
  • 其他网页转发，能够接收其他post请求页面的转发
/**
 * 显示统计页面
 */
@RequestMapping(value = "/data", method = {RequestMethod.GET, RequestMethod.POST})
public String getDataPage() {
    return "/site/admin/data";
}

2. 查询UV

@DateTimeFormat(pattern = "yyyy-MM-dd") - 指明参数接收日期的格式
  • 为了能在页面显示出选中的起始时间，要将用户提交的数据再传给模板
forward:/data- 转发
  • 当前页只处理前一部分，后面的模板页面渲染交给"/data"请求处理
  • 但服务器只与当前的url通讯，不认识转发的"/data"请求
/**
 * 统计UV
 *     要指明接收日期的格式
 */
@RequestMapping(value = "/data/uv", method = RequestMethod.POST)
public String getUV(@DateTimeFormat(pattern = "yyyy-MM-dd") Date start,
                    @DateTimeFormat(pattern = "yyyy-MM-dd")Date end, Model model) {
    long uv = dataService.calculateUV(start, end);
    model.addAttribute("uvResult", uv);
    // 为了能在页面显示出选中的起始时间，要将用户提交的数据再传给模板
    model.addAttribute("uvStartDate", start);
    model.addAttribute("uvEndDate", end);
    return "forward:/admin/data";
}

3. 查询DAU

/**
 * 统计DAU
 */
@RequestMapping(path = "/data/dau", method = RequestMethod.POST)
public String getDAU(@DateTimeFormat(pattern = "yyyy-MM-dd") Date start,
                     @DateTimeFormat(pattern = "yyyy-MM-dd") Date end, Model model) {
    long dau = dataService.calculateDAU(start, end);
    model.addAttribute("dauResult", dau);
    model.addAttribute("dauStartDate", start);
    model.addAttribute("dauEndDate", end);
    return "forward:/admin/data";
}

五、处理模板

1. 渲染UV统计表单

  • 统计提交表单
    • 返回后，将提交的日期数据默认显示出来
<form class="form-inline mt-3" method="post" th:action="@{/admin/data/uv}">
   <input type="date" class="form-control" required name="start" th:value="${#dates.format(uvStartDate,'yyyy-MM-dd')}"/>
   <input type="date" class="form-control ml-3" required name="end" th:value="${#dates.format(uvEndDate,'yyyy-MM-dd')}"/>
   <button type="submit" class="btn btn-primary ml-3">开始统计</button>
</form>
  • 统计结果显示
<li class="list-group-item d-flex justify-content-between align-items-center">
   统计结果
   <span class="badge badge-primary badge-danger font-size-14" th:text="${uvResult}">0</span>
</li>

2. 渲染统计DAU表单页面

<!-- 活跃用户 -->
<div class="container pl-5 pr-5 pt-3 pb-3 mt-4">
   <h6 class="mt-3"><b class="square"></b> 活跃用户</h6>
   <form class="form-inline mt-3" method="post" th:action="@{/admin/data/dau}">
      <input type="date" class="form-control" required name="start" th:value="${#dates.format(dauStartDate,'yyyy-MM-dd')}"/>
      <input type="date" class="form-control ml-3" required name="end" th:value="${#dates.format(dauEndDate,'yyyy-MM-dd')}"/>
      <button type="submit" class="btn btn-primary ml-3">开始统计</button>
   </form>
   <ul class="list-group mt-3 mb-3">
      <li class="list-group-item d-flex justify-content-between align-items-center">
         统计结果
         <span class="badge badge-primary badge-danger font-size-14" th:text="${dauResult}">0</span>
      </li>
   </ul>

六、权限设置

  • 权限分配：只有管理员才能访问统计网页的请求

    .antMatchers(
        "/discuss/delete",
        "/admin/**"
)
.hasAnyAuthority(AUTHORITY_ADMIN)

测试结果：

  • 非管理员没有权限访问

    在这里插入图片描述

  • 统计独立访客UV

    在这里插入图片描述

  • 统计活跃用户

    在这里插入图片描述

七、遇到的bug及处理方式

1. 日期格式

问题产生：
 private SimpleDateFormat sf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
  • 之前key中的日期格式设置成功new SimpleDateFormat("yyyy-MM-dd HH:mm:ss")
    • 结果统计结果全部为0，即统计不出值
问题解决：

在这里插入图片描述

  • 日期的格式决定redis中key的定义

  • 本项目中只需要统计每日的UV、DAU,key也就是序列化到日，故日期格式精确的到日就可

     private SimpleDateFormat sf = new SimpleDateFormat("yyyyMMdd");

2. 合并中出现空指针错误

问题产生：
redisTemplate.opsForHyperLogLog().union(UVKey, keyList.toArray());
  • 如果页面用户输入的时间起始时间大于终止时间，会取不到key，keyList的size为0，toArray()会报错
问题解决
  • 作边界判断，注意不是判断keyList != null,实例化就一定不为null，但要判断集合元素是否为空
if(!keyList.isEmpty()) {
    redisTemplate.opsForHyperLogLog().union(UVKey, keyList.toArray());
}

3. 日期计算出现问题

问题产生：
while (calendar.getTime().before(end)) {
}
  • 如果起始时间和终止时间相等时，循环不进行，这样无法查询一天的结果
问题解决：
  • 边界条件要包含和终止时间相等的情况
  • 故，不在end之后，都满足条件
while (!calendar.getTime().after(end)) {
    String key = RedisKeyUtil.getDAU(df.format(calendar.getTime()));
    keyList.add(key.getBytes());
    calendar.add(Calendar.DATE, 1);
}

4. BitMap数据格式

  • 注意：对BitMap的or合并操作，是对位进行操作
  • 故，要将String类型的key转为Byte字符数组
    • 因此，统计keyList的集合中也要放key的字符数组
List<byte[]> keyList = new ArrayList<>();
if(!keyList.isEmpty()) {
    connection.bitOp(RedisStringCommands.BitOperation.OR,
            redisKey.getBytes(), keyList.toArray(new byte[0][0]));
}
天生我才~~
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis-5.0.12-1.el7.x86_64.rpm
07-19
redis 5.0.12的rpm包
redis的使用场景
qq_50896786的博客
08-03 6830
查看的缓存: 前部分代码相同@before通知，后部分代码也相同后置通知。我们可以AOP完成缓存代码和业务代码分离。我们看到同一个库存被使用了n次。以及数据库中库存为负数。数据存储在内存中，数据查询速度快。--使用注解即可完成。注意此处的测压速度不易太快（推荐使用5秒100个线程）查询频率比较高，修改频率比较低。发现又出现: 重复数字以及库存为负数。如果搭建了项目集群，那么该锁无效。对应的service层修改为。（1）使用idea开集群项目。service对应代码修改。（1）把缓存的配置类加入。...
总结-12 统计数据，redis高级数据结构
qq_41916811的博客
12-30 387
我们网站需要统计UV（独立访客）和DAU（每日活跃用户）。对于UV我们以每个ip的访问作为一次有效访问，同一个ip的多次访问算做一次，而DAU我们以每个用户id为一次有效访问。 对于统计，我们使用redis作为我们的数据库，对于UV我们采用HyperLoglog作为数据类型，Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非...
PV UV 日活 月活
热门推荐
海涛高软
02-04 1万+
PV，即Page View，表示页面浏览量或者点击量，每当一个页面被打开或者被刷新，都会产生一次PV，只要这个请求从浏览器端发送到了服务器端 UV，即Unique Visitor，表示独立访客数 日活：(DAU)日活跃用户Daily Active User DAU通常统计一日（统计日）之内，登录或使用了某个产品的用户数（去除重复登录的用户），这与流量统计工具里的访客（UV）概念相似。...
项目1在线交流平台-7.构建安全高效的企业服务-4.Redis两种高级数据结构-HyperLogLog、BItMap
xingzhes_的博客
04-06 1364
文章目录功能需求一、HyperLoglog-基数统计1. HyperlogLog数据类型特点什么是基数2. 应用场景3. 常用API及使用Spring客户端测试redis原生APISpring客户端操作API`opsForHyperLogLog().add(pfKey, i)`-添加数据`opsForHyperLogLog().size(pfKey)`-统计数据的基数`opsForHyperLogLog().union(unionKey, pfKey2, pfKey3, pfKey4)`二、BitMap-位
HyperLogLog、Bitmap
dl674756321的博客
04-09 461
HyperLogLog 采用基数算法实现，它设有 16384 个桶进行独立计数，也就是 2 的 14 次方，每个桶占 6 位，2 的 14 次方乘以 6 再除以 8，就等于 12k 字节了。它根据输入元素来计算基数，而不是存储元素本身。 占用空间小，无论统计多少个数据，最多占用12K的内存。（redis 设有 16384个桶，每个桶里的数据最多需要6位进行存储，16384 x 6 / 8 约等于...
redis-3.2.2.gem redis-3.2.2.gem redis-3.2.2.gem
10-20
redis-3.2.2.gemredis-3.2.2.gemredis-3.2.2.gemredis-3.2.2.gemredis-3.2.2.gemredis-3.2.2.gem
redis-5.0.14-1.el7.remi.x86-64.rpm安装包(含有部署手册)
06-26
redis-5.0.14-1.el7.remi.x86_64.rpm安装包(含有部署手册) redis-5.0.14-1.el7.remi.x86_64.rpm安装包(含有部署手册) redis-5.0.14-1.el7.remi.x86_64.rpm安装包(含有部署手册) redis-5.0.14-1.el7.remi.x86_64.rpm...
redis-6.9.240(7.0-rc1)-x64-for-windows-bin.zip
02-11
Redis 7 为 RDB 文件应用了新版本 (version 10) 格式，与旧版本不兼容 Redis 7 在加载较旧的 RDB 格式时会动态地将 ziplist 编码的 key 转换为 listpacks。此过程通常发生在从 RDB 加载文件或者主从复制之间，且会...
01-Redis核心数据结构实战与高性能原理剖析-ev.rar
03-08
01-Redis核心数据结构实战与高性能原理剖析_ev.rar01-Redis核心数据结构实战与高性能原理剖析_ev.rar01-Redis核心数据结构实战与高性能原理剖析_ev.rar01-Redis核心数据结构实战与高性能原理剖析_ev.rar01-Redis核心...
Redis高级数据类型Hyperloglog、Bitmap快速带你上手！！！
Code皮皮虾的博客
05-23 2360
文章目录
Redis-HyperLogLog与BitMap
CodingMayCry
09-07 1034
四两拨千斤——HyperLogLog 因为在项目中，用到了这个高级数据结构来统计UV数据。所以，今天特来总结一下。 日UV（Unique Visitor，独立访客），即统计同一个用户一天之内的访问请求，并且同一个用户的多次请求只能统计一次。这就要求每一个网页请求都需要带上用户ID，无论是登录用户还是未登录用户都需要一个唯一ID来标识。 当然，第一个想到的是用set集合来存储，既能去重又能统计...
string模拟实现
m0_73969414的博客
04-23 928
c++中string的模拟实现，面试必会知识点
【1524】java投票管理系统Myeclipse开发mysql数据库web结构java编程计算机网页项目
qq_251836457的博客
04-18 892
2、开发环境为TOMCAT7.0,Myeclipse8.5开发，数据库为Mysql5.0，使用java语言开发。(5)投票选项管理：对投票选项信息进行添加、删除、修改和查看。(6)投票记录管理：对投票记录信息进行添加、删除、修改和查看。(1)管理员管理：对管理员信息进行添加、删除、修改和查看。(2)用户管理：对用户信息进行添加、删除、修改和查看。(3)公告管理：对公告信息进行添加、删除、修改和查看。(4)投票管理：对投票信息进行添加、删除、修改和查看。4）投票浏览查看、查看投票、投票记录。
PageHelper实现分页查询
m0_63849044的博客
04-24 674
这行代码是在使用 MyBatis Generator (MBG) 或类似的 MyBatis 工具生成的代码来构建查询条件。（可能是MyBatis的Mapper接口）来执行基于前面定义的查询条件的查询，并获取结果列表。实例之后会被用来设置各种查询条件，如字段的等于、不等于、大于、小于、模糊查询等。实体类生成的辅助类，它通常包含了一些静态内部类和方法，用于构建查询条件。在MyBatis中，这样的对象通常用于构建查询条件。对象，可能用于作为查询条件）。的一个内部类，用于定义查询的具体条件。
javaweb-SpringBoot基础
kussm_的博客
04-20 1122
Spring的官网(Spring的简介：Spring makes Java simple。Spring Boot 可以帮助我们非常快速的构建应用程序、简化开发、提高效率。创建一个子包controller。
2.8 构建gradle环境
蚊者逆袭的博客
04-18 2271
Gradle是一种现代化的构建工具，用于自动化地构建、测试和部署软件项目。它是一种基于JVM（Java虚拟机）的构建工具，最初是为了解决Apache Ant和Apache Maven等传统构建工具的一些限制而开发的。
MSE实现全链路灰度实践
最新发布
云计算、数据库、大数据、深度学习、NLP、Python
04-24 109
待更新。
Web前端 Javascript笔记5
cycyzh的博客
04-18 990
script>'console.log("哈哈哈佳人们好困")'}, 3000)​let t1 = setTimeout('console.log("你们看到这句话的时候我早已身价百万！！")', 4000)​</script>3秒，四秒后出来的东西，出现前会返回计时器编号。
tomcat-redis-session-manager-1.2-tomcat-7.jar下载
07-15
现在，您已经成功下载了tomcat-redis-session-manager-1.2-tomcat-7.jar文件，并可以将其用于相应的项目或应用程序中。请确保在使用该jar文件之前，仔细阅读相关的文档和说明，以确保正确配置和使用。 ### 回答2：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值