（仿牛客社区项目）Java开发笔记7.4：网站数据统计

已于 2022-07-25 15:15:27 修改
阅读量379 收藏 1
点赞数
分类专栏： Java项目 文章标签： java spring boot redis 数据结构
于 2022-07-25 15:15:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45700663/article/details/125975715
版权

文章目录

网站数据统计

NowCoder_33_1

1.util包

RedisKeyUtil类中增加两个前缀。

package com.gerrard.community.util;

import org.springframework.boot.autoconfigure.cache.CacheProperties;

import java.util.List;
import java.util.Map;
import java.util.Set;

public class RedisKeyUtil {

    private static final String SPLIT=":";
    private static final String PREFIX_ENTITY_LIKE="like:entity";
    private static final String PREFIX_USER_LIKE="like:user";
    private static final String PREFIX_FOLLOWEE="followee";
    private static final String PREFIX_FOLLOWER="follower";
    private static final String PREFIX_KAPTCHA = "kaptcha";
    private static final String PREFIX_TICKET = "ticket";
    private static final String PREFIX_USER = "user";
    private static final String PREFIX_UV="uv";
    private static final String PREFIX_DAU="dau";
    private static final String PREFIX_POST="post";

    //某个实体的赞
    //like:entity:【entityType:entityId】->【set(userId)】
    public static String getEntityLikeKey(int entityType,int entityId){
        return PREFIX_ENTITY_LIKE+SPLIT+entityType+SPLIT+entityId;
    }

    //某个用户的赞
    //like:user:【userId】->int
    public static String getUserLikeKey(int userId){
        return PREFIX_USER_LIKE+SPLIT+userId;
    }

    //某个用户关注的实体（键：用户Id，值：实体Id）
    //followee:【userId:entityType】->zset(entityId,now)
    public static String getFolloweeKey(int userId,int entityType){
        return PREFIX_FOLLOWEE +SPLIT + userId + SPLIT + entityType;
    }

    //某个实体拥有的粉丝（键：实体Id，值：用户Id)
    //follower:【entityType:entityId】->zset(userId,now)
    public static String getFollowerKey(int entityType,int entityId){
        return PREFIX_FOLLOWER + SPLIT + entityType + SPLIT + entityId;
    }
        //entityType不可以删除，userId和entityId值会有重复，需要借助entityType构成键的一部分加以区分，【不对】
        //entityType不可以删除，Id值相同的情况下，需要借助entityType以示区分

    // 登录验证码 kaptcha:【owner（随机生成的字符串)，60s后过期】->验证码的值
    public static String getKaptchaKey(String owner) {
        return PREFIX_KAPTCHA + SPLIT + owner;
    }

    // 登录的凭证 ticket:【ticket】->set(ticket实体类，过期时间存放在该实体中)
    public static String getTicketKey(String ticket) {
        return PREFIX_TICKET + SPLIT + ticket;
    }


    //用户 user:【userId】->set(user实体类,3600s后过期)
    public static String getUserKey(int userId){
        return PREFIX_USER+SPLIT+userId;
    }

    //单日UV uv:【date】->hyperloglog粗略统计
    public static String getUVKey(String date){
        return PREFIX_UV+SPLIT+date;
    }

    //区间UV uv:【startDate】:【endDate】->整数
    public static String getUVKey(String startDate,String endDate){
        return PREFIX_UV+SPLIT+startDate+SPLIT+endDate;
    }

    //单日活跃用户 dau:【date】->bitmapap精确统计
    public static String getDAUKey(String date){
        return PREFIX_DAU+SPLIT+date;
    }

    //区间活跃用户
    public static String getDAUKey(String startDate,String endDate){
        return PREFIX_DAU+SPLIT+startDate+SPLIT+endDate;
    }
    
}

2.service层

建立DataService类。

package com.gerrard.community.service;

import com.gerrard.community.util.RedisKeyUtil;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.dao.DataAccessException;
import org.springframework.data.redis.connection.RedisConnection;
//import org.springframework.data.redis.connection.RedisStreamCommands;
import org.springframework.data.redis.connection.RedisStringCommands;
import org.springframework.data.redis.core.RedisCallback;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Service;

import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Calendar;
import java.util.Date;
import java.util.List;

@Service
public class DataService {
    @Autowired
    private RedisTemplate redisTemplate;

    private SimpleDateFormat df=new SimpleDateFormat("yyyyMMdd");

    //将指定的IP计入UV   总访问量
    public void recordUV(String ip){
        String redisKey= RedisKeyUtil.getUVKey(df.format(new Date()));
        redisTemplate.opsForHyperLogLog().add(redisKey,ip);
    }

    //统计指定日期范围内的UV
    public long calculateUV(Date start,Date end){
        if(start==null || end==null){
            throw new IllegalArgumentException("参数不能为空！");
        }
        //整理该日期的范围内的key
        List<String> keyList=new ArrayList<>();
        Calendar calendar=Calendar.getInstance();
        calendar.setTime(start);
        while(!calendar.getTime().after(end)){
            String key=RedisKeyUtil.getUVKey(df.format(calendar.getTime()));
            keyList.add(key);
            calendar.add(Calendar.DATE,1);
        }

        //合并这些数据
        String redisKey=RedisKeyUtil.getUVKey(df.format(start),df.format(end));
        redisTemplate.opsForHyperLogLog().union(redisKey,keyList.toArray());

        //返回统计的结果
        return redisTemplate.opsForHyperLogLog().size(redisKey);
    }

    //将指定用户计入DAU
    public void recordDAU(int userId){
        String redisKey=RedisKeyUtil.getDAUKey(df.format(new Date()));
        redisTemplate.opsForValue().setBit(redisKey,userId,true);
    }

    //统计指定日期范围内的DAU
    public long calculateDAU(Date start,Date end){
        if(start==null || end==null){
            throw new IllegalArgumentException("参数不能为空！");
        }

        //整理该日期范围内的key
        List<byte[]> keyList=new ArrayList<>();
        Calendar calendar=Calendar.getInstance();
        calendar.setTime(start);
        while (!calendar.getTime().after(end)){
            String key=RedisKeyUtil.getDAUKey(df.format(calendar.getTime()));
            keyList.add(key.getBytes());
            calendar.add(Calendar.DATE,1);
        }

        //进行OR运算
        return (long)redisTemplate.execute(new RedisCallback() {
            @Override
            public Object doInRedis(RedisConnection connection) throws DataAccessException {
                String redisKey=RedisKeyUtil.getDAUKey(df.format(start),df.format(end));
                connection.bitOp(RedisStringCommands.BitOperation.OR,
                        redisKey.getBytes(),keyList.toArray(new byte[0][0]));
                return connection.bitCount(redisKey.getBytes());
            }
        });
    }

}

3.controller层

Interceptor包中添加DataInterceptor类，新建DataController类

package com.gerrard.community.controller.interceptor;

import com.gerrard.community.entity.User;
import com.gerrard.community.service.DataService;
import com.gerrard.community.util.HostHolder;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import org.springframework.web.servlet.HandlerInterceptor;

import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

@Component
public class DataInterceptor implements HandlerInterceptor {
    @Autowired
    private DataService dataService;

    @Autowired
    private HostHolder hostHolder;

    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        //统计UV
        String ip=request.getRemoteHost();
        dataService.recordUV(ip);

        //统计DAU
        User user=hostHolder.getUser();
        if(user!=null){
            dataService.recordDAU(user.getId());
        }
        return true;
    }
}


package com.gerrard.community.controller;



import com.gerrard.community.service.DataService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.format.annotation.DateTimeFormat;
import org.springframework.stereotype.Controller;
import org.springframework.ui.Model;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;

import java.util.Date;

@Controller
public class DataController {


    @Autowired
    private DataService dataService;

    //统计页面  为什么要加上POST？因为下面方法中的forward要求是目标url的请求类型，与上方的RequestMapping请求类型相一致。
  //  @RequestMapping(path="/data",method = {RequestMethod.GET,RequestMethod.POST})
    @RequestMapping(path="/data",method = {RequestMethod.GET,RequestMethod.POST})
    public String getDataPage(){
        return "/site/admin/data";
    }

    //统计网站UV
    @RequestMapping(path="/data/uv",method = RequestMethod.POST)
    public String getUV(@DateTimeFormat(pattern = "yyyy-MM-dd") Date start,
                        @DateTimeFormat(pattern = "yyyy-MM-dd") Date end, Model model){
        long uv=dataService.calculateUV(start,end);
        model.addAttribute("uvResult",uv);
        model.addAttribute("uvStartDate",start);
        model.addAttribute("uvEndDate",end);
        return "forward:/data";
       // return "/data";
    }

    //统计活跃用户
    @RequestMapping(path="/data/dau",method = RequestMethod.POST)
    public String getDAU(@DateTimeFormat(pattern = "yyyy-MM-dd") Date start,
                        @DateTimeFormat(pattern = "yyyy-MM-dd") Date end, Model model){
        long dau=dataService.calculateDAU(start,end);
        model.addAttribute("dauResult",dau);
        model.addAttribute("dauStartDate",start);
        model.addAttribute("dauEndDate",end);
        return "forward:/data";
//        return "/data";
    }

}

4.config包

WebMvcConfig类配置DataInterceptor拦截器，SecurityConfig类中添加相关权限。

package com.gerrard.community.config;

import com.gerrard.community.controller.interceptor.DataInterceptor;
import com.gerrard.community.controller.interceptor.LoginRequiredInterceptor;
import com.gerrard.community.controller.interceptor.LoginTicketInterceptor;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Configuration;
import org.springframework.web.servlet.config.annotation.InterceptorRegistry;
import org.springframework.web.servlet.config.annotation.WebMvcConfigurer;

@Configuration
public class WebMvcConfig implements WebMvcConfigurer {
    @Autowired
    private LoginTicketInterceptor loginTicketInterceptor;

    @Autowired
    private DataInterceptor dataInterceptor;

//    @Autowired
//    private LoginRequiredInterceptor loginRequiredInterceptor;

    @Override
    public void addInterceptors(InterceptorRegistry registry) {
        registry.addInterceptor(loginTicketInterceptor)
                .excludePathPatterns("/**/*.css","**/*.js","**/*.png","**/*.jpg","**/*.jpeg");

//        registry.addInterceptor(loginRequiredInterceptor)
//                .excludePathPatterns("/**/*.css", "/**/*.js", "/**/*.png", "/**/*.jpg", "/**/*.jpeg");

        registry.addInterceptor(dataInterceptor)
                .excludePathPatterns("/**/*.css", "/**/*.js", "/**/*.png", "/**/*.jpg", "/**/*.jpeg");

    }
}


 // 授权
        http.authorizeRequests()
                .antMatchers(
                        "/user/setting",
                        "/user/upload",
                        "/discuss/add",
                        "/comment/add/**",
                        "/letter/**",
                        "/notice/**",
                        "/like",
                        "/follow",
                        "/unfollow"
                )
                .hasAnyAuthority(
                        AUTHORITY_USER,
                        AUTHORITY_ADMIN,
                        AUTHORITY_MODERATOR
                )
                .antMatchers(
                        "/discuss/top",
                        "/discuss/wonderful"
                )
                .hasAnyAuthority(
                        AUTHORITY_MODERATOR
                )
                .antMatchers(
                        "/discuss/delete",
                        "/data/**"
                )
                .hasAnyAuthority(
                        AUTHORITY_ADMIN
                )
                .anyRequest().permitAll()
                .and().csrf().disable();

完成两个功能：

1.UV和DAU的统计。

配置DataInterceptor，拦截请求，统计UV和DAU，再放行。

    //将指定的IP计入UV   总访问量
    public void recordUV(String ip){
        String redisKey= RedisKeyUtil.getUVKey(df.format(new Date()));
        redisTemplate.opsForHyperLogLog().add(redisKey,ip);
    }
  //将指定用户计入DAU
    public void recordDAU(int userId){
        String redisKey=RedisKeyUtil.getDAUKey(df.format(new Date()));
        redisTemplate.opsForValue().setBit(redisKey,userId,true);
    }

2.UV和DAU的展示。

/data下所有请求需要有管理员权限才能访问，配置/data/**的权限。

用户选择好日期后，点击开始统计按钮，查到对应的值响应/site/admin/data页面即可。

UV统计原理：{ip1，ip2}U{ip2，ip3}。

DAU统计原理：将”userId位“置0再进行OR运算。

5.view层

修改data.html。

NowCoder_33_2

NowCoder_33_3

关键修改：

NowCoder_33_4

6.功能测试

aaa用户没有访问权限：

NowCoder_33_5

seu用户访问：

NowCoder_33_6

统计UV:

NowCoder_33_7

统计DAU：

NowCoder_33_8

Gerrar_d
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JAVA 统计网站的访问量PV，UV
06-18
Java+Spring+Mysql+C3P0 统计网站的访问量，比如PV（页面浏览量），UV（独立访客数），将统计结果保存到MYSQL数据库中。解压后有项目log和Mysql的建库脚本。
牛客网项目---6.4.网站数据统计
gouhanchi的博客
07-15 318
UV(Unique Visitor) ---独立访客，需进行用户IP排重统计数据 ---每次访问都要进行统计 ---HyperLogLog,性能好，且存储空间小 DAU(Daily Active User) ---日活跃用户，需要通过用户ID排重统计数据 ---访问过一次，则认为其活跃 ---Bitmap,性能好，且可以统计精确的结果 ...
牛客网后端项目实战（四十一）：网站统计数据
weixin_42033436的博客
06-02 654
文章目录RediskeyServiceUV（Unique Visitor）DAU（Dail Active User）Controller拦截器模板 UV（Unique Visitor） 独立访客，需通过用户IP排重统计数据 每次访问都要进行统计 HyperLogLog，性能好，且存储空间小 DAU（Dail Active User） 日活跃用户，需通过用户ID排重统计数据 访问过一次，则认为其为活跃(定义可以不同) Bitmap，性能好、且可以统计精确的结果 Rediskey RedisKe
牛客网项目——项目开发（九）：权限控制，数据统计
平什么阿的博客
06-01 814
文章目录1. 权限控制1.1 pom.xml1.2 废除原有拦截器1.3 授权配置1.4 SecurityConfig1.5 UserService增加用户权限1.6 LoginTicketInterceptor1.6.1 .preHandle1.6.2 afterCompletion1.7 LoginController1.8 CSRF 1. 权限控制 1.1 pom.xml <dependency> <groupId>org.springframework.boot</
java 网站统计工具_JAVA 网站统计实例
weixin_39552472的博客
02-13 159
Spring+Mysql+C3P0 统计网站的访问量，比如PV(页面浏览量)，UV(独立访客数)，将统计结果保存到MYSQL数据库中。 一个javaee利用mvc模式开发的实例，功能强力，利用面广，每一个初期开发者不可少的利用工具。代码简介：CounterServlet.javapackageorg.sunxin.ch02.servlet;importjava.io.IOException;i...
Java仿牛客系统源码.zip
06-06
Java仿牛客系统源码是一个基于Java开发的在线编程训练和招聘平台的实现，它旨在提供类似牛客网的功能，帮助程序员进行技能提升、实战演练以及求职准备。这个源码库通常包含了完整的后端服务、前端界面以及数据库设计...
牛客网 牛客Java高级工程师 - 高薪求职项目课vol.4.zip
最新发布
01-12
软件开发设计：应用软件开发、系统软件开发、移动应用开发、网站开发C++、Java、python、web、C#等语言的项目开发与学习资料 硬件与设备：单片机、EDA、proteus、RTOS、包括计算机硬件、服务器、网络设备、存储设备...
基于SpringBoot 仿牛客网讨论社区项目
04-03
仿牛客网讨论社区项目： 主要技术架构： SpringBoot Spring SpringMVC MyBatis Redis Kakfa Elasticsearch Spring Security Spring Actator 基于SpringBoot的社区平台，实现了牛客网讨论区的功能。实现了邮箱注册...
基于SpringBoot的仿牛客论坛源码.zip
05-21
开发环境 构建工具：Apache Maven 集成开发工具：IntelliJ IDEA 数据库：MySQL、Redis 应用服务器：Apache Tomcat 版本控制工具：Git 软件架构 基础功能 邮箱设置 启用客户端SMTP服务 Spring Email： ——导入jar包...
仿牛客博客项目源码（有部分功能没有实现） https://gitee.com/xudahu/community
05-25
本项目名为"仿牛客博客"，是一个基于Java技术栈实现的开源项目，可以从Gitee平台上的链接<https://gitee.com/xudahu/community>获取源代码。虽然该项目可能未实现全部功能，但它仍能为我们提供一个学习和实践Java ...
网站热点点击统计系统
08-25
离线分析网站各热点点击数据 产生可视化报表
【仿牛客网笔记】项目进阶，构建安全高效的企业服务——Redis高级数据类型、网站数据统计
xue_hua_c的博客
11-20 120
将三组数据合并，在合并后的重复数据中统计合并后的独立整数。一共有20万个数据，去重统计一下一共有多少数。建立拦截器，每次请求都是一个访问。统计每日UV，查询一段时间的UV。
华为OD机试 - 热点网站统计（Java）
qq_34143141的博客
07-13 242
也就说，最多有不超过5000 * 65535条访问URL记录，这个规模，我们需要尽可能地优化代码时间复杂度到O(1)左右，特别是“每次输出要统计之前所有输入，不仅是本次输入”，我们最好创建缓存表，而不是重新统计。2、如果有访问次数相等的URL，按URL的字符串字典序升序排列，输出排序靠前的URL；每一行都是一个URL或一个数字，如果是URL，代表一段时间内的网页访问；每行输入要对应一行输出，输出按访问次数排序的前N个URL，用逗号分隔。本题需要注意：“每次输出要统计之前所有输入，不仅是本次输入”。
华为机试真题 C++ 实现【热点网站统计】
MISAYAONE的博客
10-06 990
企业路由器的统计页面，有一个功能需要动态统计公司访问最多的网页URL top N。请设计一个算法，可以高效动态统计Top N的页面。入描述每一行都是一个URL或一个数字，如果是URL，代表一段时间内的网页访问；如果是一个数字N，代表本次需要输出的Top N个URL。 输入约束1、总访问网页数量小于5000个，单网页访问次数小于65535次；2、网页URL仅由字母，数字和点分隔符组成，且长度小于等于127字节；3、数字是正整数，小于等于10且小于当前总访问网页数；
牛客网--用户喜好
半途行走的博客
03-14 208
为了不断优化推荐效果，今日头条每天要存储和处理海量数据。假设有这样一种场景：我们对用户按照它们的注册时间先后来标号，对于一类文章，每个用户都有不同的喜好值，我们会想知道某一段时间内注册的用户（标号相连的一批用户）中，有多少用户对这类文章喜好值为k。因为一些特殊的原因，不会出现一个查询的用户区间完全覆盖另一个查询的用户区间(不存在L1<=L2<=R2<=R1)。 输...
【华为OD统一考试B卷 | 100分】 热点网站统计（C++ Java JavaScript Python）
2301_77273748的博客
05-28 1283
企业路由器的统计页面，有一个功能需要动态统计公司访问最多的网页URL top N。每一行都是一个URL或一个数字，如果是URL，代表一段时间内的网页访问；2、网页URL仅由字母，数字和点分隔符组成，且长度小于等于127字节；每行输入要对应一行输出，输出按访问次数排序的前N个URL，用逗号分隔。1、总访问网页数量小于5000个，单网页访问次数小于65535次；如果是一个数字N，代表本次需要输出的Top N个URL。2、如果有访问次数相等的URL，按URL的字符串。升序排列，输出排序靠前的URL；
【华为机试真题Python】热点网站统计
09-18 845
企业路由器的统计页面，有一个功能需要动态统计公司访问最多的网页 URL top N。请设计一个算法，可以高效动态统计 Top N 的页面。
题目0106-热点网站统计
amos_cloud的博客
09-04 489
企业路由器的统计页面，有一个功能，需要动态统计公司访问最多的网页URL topN请设计一个算法，可以高效动态统计TopN的页面。
仿牛客项目kafka
08-29
在仿牛客项目中使用Kafka可以实现消息的异步处理和分布式架构。 使用Kafka的第一步是创建一个主题(topic)，主题既是消息的类别，也是消息在Kafka中的存储位置。可以使用命令行工具kafka-topics.bat来创建主题。例如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值