Cardinality Estimation

最新推荐文章于 2022-11-28 21:51:22 发布

Mr_JieLQ

最新推荐文章于 2022-11-28 21:51:22 发布

阅读量608

点赞数 2

分类专栏： uv

本文链接：https://blog.csdn.net/u011564172/article/details/85339551

版权

uv 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

文章目录

前言
UV统计的难点
- 时空复杂度
- UV合并
相关算法

前言

最近做UV近似统计的需求，整理了UV统计相关的算法，Cardinality Estimation的相关研究可以用于UV近似统计。下面所列出算法重在实现逻辑，相关证明过程可以参考对应论文。我们的UV统计采用了HyperLogLog算法，因此会对HyperLogLog算法做详细介绍。

首先，Linux的sort命令和SQL语言中的distinct关键字可以实现UV统计，如下

sort -u log.txt | wc -l

SELECT
DATE_TRUNC(‘day’,event_time),
COUNT(DISTINCT user_id),
COUNT(DISTINCT url)
FROM weblog

UV统计的难点

时空复杂度

部分UV统计，数据量大，对实时性要求高，这就要求统计程序要尽可能的降低时空复杂度。

UV合并

和PV不同，UV无法直接进行时间或其他维度上的合并，例如，有前一分钟和当前时刻的UV，要计算这两分钟的UV，不能直接将结果合并。

相关算法

HashSet

HashSet有去重功能，所以使用HashSet即可实现UV统计，Java的代码如下

	public static long count(Iterable<String> stream) {
		 HashSet<String> hset = new HashSet<>();
		 for (String x : stream)
			 hset.add(x);
		 return hset.size();
	}

HashSet使用对象存储，内存开销大，仅适用于小数据量计算。

Bitmap

统计UV时，使用位图存储用户信息，而不是HashSet的对象，极大节省内存空间，Java中的位图实现是java.util.BitSet，如下代码，创建长度为1024的位图，第十位设置为true，返回uv

	BitSet bset = new BitSet(1024);
	bset.set(10);
	int uv = bset.cardinality();

2^32≈42亿，2^32bit≈537M

从上图可以看出，只需约537M的空间就可统计42亿用户的UV，但是我们如果要多维度统计UV，就需要多个位图结构，所需空间是n * 537M，维度较多时内存开销还是很大。

Bitmap和HashSet对比

Bitmap在处理非数值类型时，需要使用hash函数将其转换为数值，此过程可能产生hash冲突，使得结果出现误差，hash函数选择较为重要。

此外，极端情况下，若Bitmap处理的数据仅有少量的大树时，仍然要申请足够长度的bit，造成浪费。

LPC

那么有没有比位图省空间，并且还是准确计算UV的算法吗，目前是没有的，接下来介绍的都是估计算法，用精度换空间。
Linear Probabilistic Counter是基于Bitmap的变形。
在这里插入图片描述
该算法分为两部分

申请长度为m的bit map，每一位初始化为0(上图before scan)，对每个输入(上图column C)，使用hash函数处理，然后将其对应的bit位置为1(结果如after scan)。
计算，bit map中0的个数为 $U{_n}$ ，长度为m，则估算结果n如下计算
$V{_n} = U{_n} / m$
$n = -m ln V{_n}$