前端监控之用户行为监控实践2（数据统计mongodb）

艾米栗写代码

已于 2023-02-23 17:19:30 修改

阅读量777

点赞数

分类专栏：前端 MongoDB 文章标签：数据库前端 mongodb

于 2023-02-23 17:18:18 首次发布

本文链接：https://blog.csdn.net/qq_34539486/article/details/129184256

版权

前端同时被 2 个专栏收录

52 篇文章 1 订阅

订阅专栏

MongoDB

1 篇文章 0 订阅

订阅专栏

一、技术栈介绍

我们当前的项目，后端是node 搭建，数据库是非关系型数据库 mongodb。

二、数据情况介绍

日志存储存储格式如下：

主要包括：

key	意义
type	当前访问类型
actionTime	访问时间
content	访问内容
erp、fullname、orgname、fullOrgname	用户信息

三、统计需求

需求1：统计报表页面下，不同报表的pv、uv

mongodb 中数据的统计主要通过 aggregate（聚合）实现。

这里，我默认看到这篇文章的你，到mogodb有一定了解。如果不了解的话，也没关系，我会给你提供一些资料，并对代码和思路进行详细说明。

步骤1：筛选，符合时间的，日志类型为页面，访问为报表页面的日志列表。

      { 
        // mongodb的筛选使用 $match。
        $match: {
          type:'browse', // 类型为页面
          actionTime: {   // 筛选时间范围内的
            '$gte': formatStart,   // $gte 为mongodb中的大于操作符
            '$lte': formatEnd   // $lte 为mongodb中的小于操作符
          },
          // 这里content 匹配，是根据业务而定，报表页面都具有 /analysis/event ; 且包含/table 的报表url 才是有效的
          // 这里通过 $all 实现同时满足的查询； $in 为其中一个满足；$nin 为其中一个不满足
          content: { '$all': [ /\/analysis\/event/, /table/] },
        },
      },

步骤2：取 content 中的tableName 部分

我们记录的页面URL 一定是完整的URL，但是最后展示的却是URL中的一部分。因此，需要对content 的内容进行截取。通过上一篇文章，我们将URL统一成了全部为 /table/tableName 结尾的格式。也就是说，我们只需要截取最后的tableName。

由于URL 不定长，因此我们无法直接指定截取索引。只能通过如下方式完成：

      {
        // project 为聚合操作中的一个步骤，主要是进行映射
        $project: {
          _id: 1,
          // 通过 $split 对url 进行分割
          content: { '$split': ['$content', '/'] },  
          actionTime: 1, // 不变的话，则可以设置为 1
          erp: 1,
          fullname: 1
        },
      },
      {
        $project: {
          _id: 1,
          // 通过 $arrayElemAt 取最后一项，即tableName
          content: { $arrayElemAt: ['$content', -1] },
          actionTime: 1,
          erp: 1,
          fullname: 1
        },
      },

步骤3：进行分组统计

从这里开始，uv 和 pv 的统计逻辑不同了。

先思考一下，pv 计算的是同一时间范围下，同一页面。pv分组聚合代码为：

{
  // $group 对应 sql 中的 group by
  $group: {
    _id: {
      content: '$content',
      // 分组一定是按天分组，用 $substrBytes 取天
      actionTime: { $substrBytes: ['$actionTime', 0, 10] },
    },
    // total 表示将分组统计的结果记为 total
    total: { $sum: 1 }
  }
},
{
  // 由于我们是按 content 和 actiontime 进行分组的，分组后，需要将这两个值展开
  $project: { _id: 0, content: '$_id.content', total: 1, date: '$_id.actionTime' }
},

而，uv 统计的时候，是同时按人、时间、页面进行统计的。uv 统计代码为：

{
  // 先对每天每个人访问的内容进行去重
  $group: {
    _id: {
      actionTime: { $substrBytes: ['$actionTime', 0, 10] },
      erp: '$erp',
      fullname: '$fullname',
      content: '$content'
    },
    num: { $sum: 1 }
  }
},
{
  // 上面分组之后，再统计uv
  $group: {
    _id: {
      actionTime: '$_id.actionTime',
      content: '$_id.content',
    },
    total: { $sum: 1 }
  }
},
{
  $project: { _id: 0, content: '$_id.content', total: 1, date: '$_id.actionTime' }
},

需求2：统计整体平台下的PV、UV

平台整体下的pv 反而更简单了。

这是只展示统计代码。

PV统计代码：

{ 
  $match: {
    type:'browse',
    actionTime: {
      '$gte': formatStart,
      '$lte': formatEnd
    }
  },
}, 
{
  $group: {
    _id: { actionTime: { $substrBytes: ['$actionTime', 0, 10] } },
    total: { $sum: 1 }
  }
},
{
  $project: { _id: 0, total: 1, date: '$_id.actionTime' }
},

uv统计代码：

{ 
  // 筛选满足条件的数据
  $match: {
    type:'browse',
    actionTime: {
      '$gte': formatStart,
      '$lte': formatEnd
    }
  },
}, 
{
  // 按人去重
  $group: {
    _id: {
      actionTime: { $substrBytes: ['$actionTime', 0, 10] },
      erp: '$erp',
      fullname: '$fullname',
    },
    num: { $sum: 1 }
  }
},
{
  $group: {
    _id: {
      // 统计人数
      actionTime: '$_id.actionTime',
    },
    total: { $sum: 1 }
  }
},
{
  $project: { _id: 0, total: 1, date: '$_id.actionTime' }
},