PV、UV的基本概念。UV如何实现去重?

PV 即页面浏览量或点击量。度量方法就是从浏览器发出一个对网络服务器的请求(Request),网络服务器接到这个请求后,会将该请求对应的一个网页(Page)发送给浏览器,从而产生了一个 PV。

UV (unique visitor )即独立访客数,指访问某个站点或点击某个网页的不同 IP  地址的人数。

去重分两种:基本的数据结构(Hashset等)、借助框架去实现(bigmap、hyperloglog等)。

bigmaphyperloglog的相同与不同

相同:

以非常精凑的结构存储去重集合的特征(或完整集合),这样不但可以回答去重数,还可以用于后续合并运算(如昨天和今天的去重)。相比较于每次都从原始值上做去重,它的存储和计算效率可以大大提高。

不同:

  1. Bitmap 的空间要比 HLL 大约一两个数量级。HyperLogLog,以下简称 HLL,它的空间复杂度非常低(log(log(n)) ,故而得名 HLL),几乎不随存储集合的大小而变化;根据精度的不同,一个 HLL 占用的空间从 1KB 到 64KB 不等。而 Bitmap 因为需要为每一个不同的 id 用一个 bit 位表示,所以它存储的集合越大,所占用空间也越大
  2. HLL 支持各种数据类型作为输入,使用方便;Bitmap 只支持 int/long 类型的数字作为输入,因此如果原始值是 string 等类型的话,用户需要自己提前进行到 int/long 的映射。
  3. HLL 算法的结果注定是非精确的,Bitmap 的结果就是精确的。

 

参考:https://zhuanlan.zhihu.com/p/84478841

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值