【技术派后端篇】基于 Redis 实现网站 PV/UV 数据统计

于 2025-04-21 09:21:06 发布
阅读量1.3k 收藏 29
点赞数 40
分类专栏： 项目 Redis # 技术派 文章标签： redis uv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gaosw0521/article/details/147380355
版权

在网站的数据分析中，PV（Page View，页面浏览量）和 UV（Unique Visitor，独立访客数）是两个重要的指标，几乎每个网站都需要对其进行统计。市面上有很多成熟的统计产品，例如百度的站点统计功能，而本文将介绍如何借助 Redis 的计数器功能，实现一套属于自己的站点统计服务。

1 方案设计

1.1 术语说明

在我们的实际实现中，对 PV 和 UV 的定义与标准定义存在一定差异：

  • PV（Page View）：指的是每个页面的访问次数。在本服务中，PV 是总量概念，一个独立的 IP 每访问一次 URL，对应的访问计数就加 1。我们希望按自然日统计每个 URL 的访问计数，同时也能统计总的访问计数，以此判断哪些页面更受读者喜爱。
  • UV（Unique Visitor）：用于统计 URI 的访问 IP 数，同样按照自然日和总数进行区分。

1.2 统计流程

用户访问时，首先获取目标 IP，然后根据其访问情况更新对应的计数：

  • 首次访问目标资源：总 PV 加 1，总 UV 加 1；当天 PV 加 1，当天 UV 加 1。
  • 非首次访问，但为当天第一次访问：总 PV 加 1，总 UV 不变；当天 PV 加 1，当天 UV 加 1。
  • 当天非首次访问：总 PV 加 1，总 UV 不变；当天 PV 加 1，当天 UV 不变。
    在这里插入图片描述

1.3 数据结构

我们使用 Redis 的 hash 来存储访问信息，具体需要存储以下三类信息：

  1. 站点的总访问信息：包括站点的 PV/UV，以及每个 URI 的 PV/UV。
  2. 某一天的访问信息：涵盖某一天站点的总访问 PV/UV，以及某一天每个 URI 的 PV/UV。由于计算 UV 时需要存储用户是否访问过某个资源的信息，所以额外添加了存储单元保存用户访问历史。
  3. 用户的访问信息：包含用户访问站点的总次数，以及访问每个 URI 的总次数。用户每天的访问信息存储在每天的访问信息结构中，因为每天的访问信息通常不需要持久化保存，比如只存储最近一个月的情况，可设置 Redis 的有效期为 30 天，到期自动清除。

完整的 hash 定义如下：

  • 站点总统计 hash：
    • key：visit_info
    • field：
      • pv：站点的总 PV
      • uv：站点的总 UV
      • pv_path：站点某个资源的总访问 PV
      • uv_path：站点某个资源的总访问 UV
  • 每天统计 hash：
    • key：visit_info_20230822（每日记录，一天一条记录）
    • field：
      • pv：12（field = 月日_pv，PV 的计数）
      • uv：5（field = 月日_uv，UV 的计数）
      • pv_path：2（资源的当前访问计数）
      • uv_path：资源的当天访问 UV
      • pv_ip：用户当天的访问次数
      • pv_path_ip：用户对资源的当天访问次数
  • 用户访问统计：
    • key：visit_info_ip
    • field：
      • pv：用户访问的站点总次数
      • path_pv：用户访问的路径总次数
        在这里插入图片描述

2 实现方式

2.1 统计计数

核心计数的实现路径为 com.github.paicoding.forum.service.sitemap.service.SitemapServiceImpl#saveVisitInfo。其原理是：用户站点总 PV 加 1，若返回的最新计数是 1，表示是站点的新用户，所有 UV 加 1；今日 PV 加 1，若返回的最新计数是 1，表示当前用户今日首次访问，进入的 UV 加 1 。

 /**
  * 保存站点数据模型
  * <p>
  * 站点统计hash：
  * - visit_info:
  * ---- pv: 站点的总pv
  * ---- uv: 站点的总uv
  * ---- pv_path: 站点某个资源的总访问pv
  * ---- uv_path: 站点某个资源的总访问uv
  * - visit_info_ip:
  * ---- pv: 用户访问的站点总次数
  * ---- path_pv: 用户访问的路径总次数
  * - visit_info_20230822每日记录, 一天一条记录
  * ---- pv: 12  # field = 月日_pv, pv的计数
  * ---- uv: 5   # field = 月日_uv, uv的计数
  * ---- pv_path: 2 # 资源的当前访问计数
  * ---- uv_path: # 资源的当天访问uv
  * ---- pv_ip: # 用户当天的访问次数
  * ---- pv_path_ip: # 用户对资源的当天访问次数
  *
  * @param visitIp 访问者ip
  * @param path    访问的资源路径
  */
 @Override
 public void saveVisitInfo(String visitIp, String path) {
     String globalKey = SitemapConstants.SITE_VISIT_KEY;
     String day = SitemapConstants.day(LocalDate.now());

     String todayKey = globalKey + "_" + day;

     // 用户的全局访问计数+1
     Long globalUserVisitCnt = RedisClient.hIncr(globalKey + "_" + visitIp, "pv", 1);
     // 用户的当日访问计数+1
     Long todayUserVisitCnt = RedisClient.hIncr(todayKey, "pv_" + visitIp, 1);

     RedisClient.PipelineAction pipelineAction = RedisClient.pipelineAction();
     if (globalUserVisitCnt == 1) {
         // 站点新用户
         // 今日的uv + 1
         pipelineAction.add(todayKey, "uv"
                 , (connection, key, field) -> {
                     connection.hIncrBy(key, field, 1);
                 });
         pipelineAction.add(todayKey, "uv_" + path
                 , (connection, key, field) -> connection.hIncrBy(key, field, 1));

         // 全局站点的uv
         pipelineAction.add(globalKey, "uv", (connection, key, field) -> connection.hIncrBy(key, field, 1));
         pipelineAction.add(globalKey, "uv_" + path, (connection, key, field) -> connection.hIncrBy(key, field, 1));
     } else if (todayUserVisitCnt == 1) {
         // 判断是今天的首次访问，更新今天的uv+1
         pipelineAction.add(todayKey, "uv", (connection, key, field) -> connection.hIncrBy(key, field, 1));
         if (RedisClient.hIncr(todayKey, "pv_" + path + "_" + visitIp, 1) == 1) {
             // 判断是否为今天首次访问这个资源，若是，则uv+1
             pipelineAction.add(todayKey, "uv_" + path, (connection, key, field) -> connection.hIncrBy(key, field, 1));
         }

         // 判断是否是用户的首次访问这个path，若是，则全局的path uv计数需要+1
         if (RedisClient.hIncr(globalKey + "_" + visitIp, "pv_" + path, 1) == 1) {
             pipelineAction.add(globalKey, "uv_" + path, (connection, key, field) -> connection.hIncrBy(key, field, 1));
         }
     }


     // 更新pv 以及 用户的path访问信息
     // 今天的相关信息 pv
     pipelineAction.add(todayKey, "pv", (connection, key, field) -> connection.hIncrBy(key, field, 1));
     pipelineAction.add(todayKey, "pv_" + path, (connection, key, field) -> connection.hIncrBy(key, field, 1));
     if (todayUserVisitCnt > 1) {
         // 非当天首次访问，则pv+1; 因为首次访问时，在前面更新uv时，已经计数+1了
         pipelineAction.add(todayKey, "pv_" + path + "_" + visitIp, (connection, key, field) -> connection.hIncrBy(key, field, 1));
     }


     // 全局的 PV
     pipelineAction.add(globalKey, "pv", (connection, key, field) -> connection.hIncrBy(key, field, 1));
     pipelineAction.add(globalKey, "pv" + "_" + path, (connection, key, field) -> connection.hIncrBy(key, field, 1));

     // 保存访问信息
     pipelineAction.execute();
     if (log.isDebugEnabled()) {
         log.info("用户访问信息更新完成! 当前用户总访问: {}，今日访问: {}", globalUserVisitCnt, todayUserVisitCnt);
     }
 }

2.2 Redis 管道封装

Redis 管道技术允许在服务端未响应时，客户端继续向服务端发送请求，并最终一次性读取所有服务端的响应，从而实现批量操作。通过对 Redis pipeline 使用姿势的封装，简化了调用过程，例如 com.github.paicoding.forum.core.cache.RedisClient.PipelineAction 中的相关代码：

/**
 * redis 管道执行的封装链路
 */
public static class PipelineAction {
    private List<Runnable> run = new ArrayList<>();

    private RedisConnection connection;

    public PipelineAction add(String key, BiConsumer<RedisConnection, byte[]> conn) {
        run.add(() -> conn.accept(connection, RedisClient.keyBytes(key)));
        return this;
    }

    public PipelineAction add(String key, String field, ThreeConsumer<RedisConnection, byte[], byte[]> conn) {
        run.add(() -> conn.accept(connection, RedisClient.keyBytes(key), valBytes(field)));
        return this;
    }

    public void execute() {
        template.executePipelined((RedisCallback<Object>) connection -> {
            PipelineAction.this.connection = connection;
            run.forEach(Runnable::run);
            return null;
        });
    }
}

@FunctionalInterface
public interface ThreeConsumer<T, U, P> {
    void accept(T t, U u, P p);
}

2.3 计数更新与使用

PV/UV 的更新可以在 Filter 中统一调用，为避免计数影响实际业务操作，采用异步更新策略：com.github.paicoding.forum.web.hook.filter.ReqRecordFilter#initReqInfo。

private HttpServletRequest initReqInfo(HttpServletRequest request, HttpServletResponse response) {
    if (isStaticURI(request)) {
        // 静态资源直接放行
        return request;
    }

    StopWatch stopWatch = new StopWatch("请求参数构建");
    try {
        stopWatch.start("traceId");
        // 添加全链路的traceId
        MdcUtil.addTraceId();
        stopWatch.stop();

        stopWatch.start("请求基本信息");
        // 手动写入一个session，借助 OnlineUserCountListener 实现在线人数实时统计
        request.getSession().setAttribute("latestVisit", System.currentTimeMillis());

        ReqInfoContext.ReqInfo reqInfo = new ReqInfoContext.ReqInfo();
        reqInfo.setHost(request.getHeader("host"));
        reqInfo.setPath(request.getPathInfo());
        if (reqInfo.getPath() == null) {
            String url = request.getRequestURI();
            int index = url.indexOf("?");
            if (index > 0) {
                url = url.substring(0, index);
            }
            reqInfo.setPath(url);
        }
        reqInfo.setReferer(request.getHeader("referer"));
        reqInfo.setClientIp(IpUtil.getClientIp(request));
        reqInfo.setUserAgent(request.getHeader("User-Agent"));
        reqInfo.setDeviceId(getOrInitDeviceId(request, response));

        request = this.wrapperRequest(request, reqInfo);
        stopWatch.stop();

        stopWatch.start("登录用户信息");
        // 初始化登录信息
        globalInitService.initLoginUser(reqInfo);
        stopWatch.stop();

        ReqInfoContext.addReqInfo(reqInfo);
        stopWatch.start("pv/uv站点统计");
        // 更新uv/pv计数
        AsyncUtil.execute(() -> SpringUtil.getBean(SitemapServiceImpl.class).saveVisitInfo(reqInfo.getClientIp(), reqInfo.getPath()));
        stopWatch.stop();

        stopWatch.start("回写traceId");
        // 返回头中记录traceId
        response.setHeader(GLOBAL_TRACE_ID_HEADER, Optional.ofNullable(MdcUtil.getTraceId()).orElse(""));
        stopWatch.stop();
    } catch (Exception e) {
        log.error("init reqInfo error!", e);
    } finally {
        if (!EnvUtil.isPro()) {
            log.info("{} -> 请求构建耗时: \n{}", request.getRequestURI(), stopWatch.prettyPrint(TimeUnit.MILLISECONDS));
        }
    }

    return request;
}

目前站点的统计信息在前台只显示全局站点的统计情况，使用时直接从 hash 中获取对应的计数即可：com.github.paicoding.forum.service.sitemap.service.impl.SitemapServiceImpl#querySiteVisitInfo。

/**
 * 查询站点某一天or总的访问信息
 *
 * @param date 日期，为空时，表示查询所有的站点信息
 * @param path 访问路径，为空时表示查站点信息
 * @return
 */
@Override
public SiteCntVo querySiteVisitInfo(LocalDate date, String path) {
    String globalKey = SitemapConstants.SITE_VISIT_KEY;
    String day = null, todayKey = globalKey;
    if (date != null) {
        day = SitemapConstants.day(date);
        todayKey = globalKey + "_" + day;
    }

    String pvField = "pv", uvField = "uv";
    if (path != null) {
        // 表示查询对应路径的访问信息
        pvField += "_" + path;
        uvField += "_" + path;
    }

    Map<String, Integer> map = RedisClient.hMGet(todayKey, Arrays.asList(pvField, uvField), Integer.class);
    SiteCntVo siteInfo = new SiteCntVo();
    siteInfo.setDay(day);
    siteInfo.setPv(map.getOrDefault(pvField, 0));
    siteInfo.setUv(map.getOrDefault(uvField, 0));
    return siteInfo;
}

前台使用路径：
在这里插入图片描述

3 小结

在这里插入图片描述

基于 Redis 实现 PV/UV 统计主要依靠两个关键知识点：

  1. hash: incr：利用 Redis 的 hash 结构结合 incr 命令实现原子计数。
  2. pipeline：通过管道方式实现批量操作，提高操作效率。

最后提出一个思考问题：当站点访问量剧增，一天达到几百万的访问量时，通过记录 IP 来实现 UV 计数会导致用户访问记录存储开销巨大，此时可以考虑使用 Redis 中的 HyperLoglog 来解决这一问题，它利用数学上的概率统计分布原理，能在空间复杂度较低的情况下实现近似的计数统计。

希望本文对大家理解和实现网站的 PV/UV 数据统计有所帮助，欢迎大家一起交流探讨相关技术问题。

4 参考链接

  1. 技术派数据统计PV/UV
  2. 项目仓库（GitHub）
  3. 项目仓库（码云）
实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示
大数据技术派
07-28 1万+
最近有个需求，实时统计pv,uv，结果按照date,hour,pv,uv来展示，当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,type来展示。这里介绍最基本的pv,uv的展示。 id uv pv date hour 1 155599 306053 2018-07-27 18 关于什么是pv,uv...
flink实战--基于Kafka+Flink(窗口+窗口函数)+Redis电商大屏实时计算PV,UV
阿华田的博客
12-18 5265
背景 阿里的双11销量大屏可以说是每年双十一的一道特殊的风景线。实时大屏（real-time dashboard）正在被越来越多的企业采用，用来及时呈现关键的数据指标。并且在实际操作中，肯定也不会仅仅计算一两个维度。由于Flink的“真·流式计算”这一特点，它比Spark Streaming要更适合大屏应用。本文将结合实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大...
JAVA 统计网站的访问量PV，UV
06-18
Java+Spring+Mysql+C3P0 统计网站的访问量，比如PV（页面浏览量），UV（独立访客数），将统计结果保存到MYSQL数据库中。解压后有项目log和Mysql的建库脚本。
如何统计每个Activity的PV
LearnHowToFly的博客
03-06 1186
public class BaseActivity extends Activity { private boolean isActive = false; private boolean mStateSaved = false; @Override protected void onCreate(Bundle savedInstanceState) {
什么是pv？如何计算公司每天的浏览量？
热门推荐
小吕学Linux的博客
10-31 1万+
PV(page view)：即页面浏览量，或点击量，PV 是网站分析的一个术语，用以衡量网站用户 访问的网页的数量。一般来说，PV 与来访者的数量成正比，但是 PV 并不直接决定页面的真 实来访者数量，如同一个来访者通过不断的刷新页面，也可以制造出非常高的 PV。 一：IP、PV、UV 的计算 对 IP 计算 1.分析网站的访问日志，去除相同的 IP 地址 2.使用第三方统计工具 3...
百度统计实现网页的PV和UV统计
富朝阳的博客
01-31 4425
最近打算统计下博客网站的浏览量，也就是统计下网站的PV和UV，那么说明是 PV和UV呢？我先做个简单介绍。PV ，全称 page view， 即页面浏览量或页面点击量。它是指用户在访问网站的过程中，每次加载一个页面就统计一个PV，一个访客在访问网站的一次会话中可以产生多个PV。UV， 全称 unique visitor， 也叫独立访客。它是指访问某个站点的不同IP地址的访客数量。即使同一IP地址在一天中访问多次该网站，UV也只会被统计一次。
使用redis统计uv pv
qq_36601631的博客
02-07 1429
使用redis统计uv pv
Redis实现计数统计
qq_64948664的博客
03-13 3784
计数器大量应用于互联网上大大小小的项目，你可以在很多场景都能找到计数器的应用范畴，单纯以技术派项目为例，也有相当多的地方会有计数相关的诉求，比如文章带赞数评论数用户粉丝数......技术派中有两种查询计数相关的方案，一个是基于db中的操作记录进行实施，一种是基于redis的incr特性来实现计数器下面来看一下，redis的计数器是怎样用于技术派的技术场景的。
Flink计算pv和uv的通用方法
大数据技术派
11-01 6441
PV(访问量)：即Page View, 即页面浏览量或点击量，用户每次刷新即被计算一次。UV(独立访客)：即Unique Visitor,访问您网站的一台电脑客户端为一个访客。00:00-...
Flink实时计算pv、uv的几种方法
大数据技术派
06-06 2483
实时统计pv、uv是再常见不过的大数据统计需求了，前面出过一篇SparkStreaming实时统计pv,uv的案例，这里用Flink实时计算pv,uv。我们需要统计不同数据类型每天的pv，...
PV统计的代码要求对接口进行限流 用redis作用缓存 分别统计页面的人数和访问次数
隐身博客
01-20 422
在 `index` 函数中，会自动统计 PV（页面访问量）的数量，通过 `redis_client.incr('pv')` 来自增计数。同时，会统计 UV（独立访客数）的数量，将每个访客的 IP 添加到 `uv:{today}` 的 Redis 集合中，并使用 `redis_client.scard` 获取集合的基数（即不重复的元素个数）作为 UV 数量。在 `index` 函数中，添加了 `@rate_limit` 装饰器，并传入了限流的配置参数，即每分钟最多允许100次访问。
SpringBoot结合redis解决PV、UV亿级流量
yanghouqing的博客
06-02 2990
SpringBoot结合redis解决PV、UV亿级流量
数据分析——Excel篇
最新发布
zfyzfw的博客
06-01 1635
是指通过互联网访问、浏览这个网页的自然人。访问网站的一台电脑客户端为一个访客。00：00-24：00相同的客户端只被计算一次，一天内同个访客多次访问仅计算一个UV。：即页面浏览量或点击量，用户每一次对网站中的每个网页访问均被记录1个PV，用户对同一个页面的多次访问，PV会累计。：每产生一次点击所花费的成本可在数据透视表外的工作表去对数据透视表的内容进行筛选；只能在表内部使用。
redis实现 - 文章阅读PV统计
LC的博客
12-23 1265
明白什么是PV、UV、IP等概念： PV（Page View）访问量, 即页面浏览量或点击量。 UV（Unique Visitor）独立访客，统计1天内访问某站点的用户数。 IP（Internet Protocol）独立IP数，是指1天内多少个独立的IP浏览了页面，即统计不同的IP浏览用户数量。 作用范围： 对于微信公众号包括学相伴的文章平台发展到一定的用户量和规模的时候，一般都不可能采用数据库来做计数器通常都是使用redis的incr命令来实现。 ##原理： 采用incr命令 ，每次累加1 如果k
Spark Streaming实战对论坛网站动态行为pv，uv，注册人数，跳出率的多维度分析，实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示
qq_36864672的博客
11-04 1149
论坛数据运行代码自动生成，该生成的数据会作为Producer的方式发送给Kafka，然后SparkStreaming程序会从Kafka中在线Pull到论坛或者网站的用户在线行为信息，进而进行多维度的在线分析 数据格式如下： date：日期，格式为yyyy-MM-dd timestamp：时间戳 userID:用户ID pageID:页面ID chanelID：板块的ID action：点击和注册 ...
如何统计网站各页面一天内的 PV 和 UV？
http://www.54tianzhisheng.cn/
09-22 5244
大数据开发最常统计的需求可能就是 PV、UV。PV 全拼 PageView，即页面访问量，用户每次对网站的访问均被记录，按照访问量进行累计，假如用户对同一页面访问了 5 次，那该页面的 PV 就应该加 5。UV 全拼为 UniqueVisitor，即独立访问用户数，访问该页面的一台电脑客户端为一个访客，假如用户对同一页面访问了 5 次，那么该页面的 UV 只应该加 1，因为 UV 计算的是去重后的...
java redis 实现pv uv_redis实战-记录PV与UV
weixin_36083698的博客
02-13 850
背景记录网页访问的PV与UV，其中PV需要统计每十五分种内的数据，比如9：00-9：15为一个统计区间，可以获取指定日期指定时间的片的数据统一配置import redisclient = redis.Redis(host="192.168.200.128", port=6379, db=0)统计PVimport datetime# 获取时间片def get_time_interval():slic...
kubernetes (statefulSet+PV+PVC)部署redis集群(数据持久化)
yyl的博客
04-23 892
文章目录kubernetes 部署redis集群(数据持久化)1-创建pv用于挂载数据1.1-创建文件夹1.2-创建pv2-创建配置3-创建redis-headle kubernetes 部署redis集群(数据持久化) 1-创建pv用于挂载数据 1.1-创建文件夹 此处采用ceph挂载文件,直接存储在指定文件夹即可 mkdir pv{1..6} 1.2-创建pv cat >> pv.yaml << EOF kind: PersistentVolume apiVersion: v1
JS实现PV统计
sugang_ximi的专栏
06-07 6702
/** * pv统计 */ (function () { var params = {}; //Document对象数据 if(document) { params.domain = document.domain || ''; params.url = document.URL || ''; params.title
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值