在presto中使用hyperloglog计算uv（设定精确度）

HyperLogLog利用基数估计算法，通过概率，在不追求绝对精确的情况下，可以有效的在大数据场景中统计uv值，同时消耗更少内存，并且大大减少计算时间。

对于HLL的算法详解，大部分博客都记录的很详细，随意贴上个链接就很够用——HyperLogLog算法详解

presto中也兼容了对HLL的使用，下面将介绍一下，如果在presto中使用HLL计算uv

1.建表。对于要计算uv的字段，需要用presto的函数计算出预估基数值，所以我们要建立一张中间表来存储这个预估值。

CREATE TABLE visit_uv1 (
  begindate integer,
  media varchar,
  hll varbinary
);

2.插入数据。将base表的数据插入新建的中间表，其中需要求uv的字段用函数approx_set计算一下

INSERT INTO visit_uv1
SELECT pday, media, cast(approx_set(userid) AS varbinary)
FROM base
where (pday>=20190301 and pday<=20190310)
GROUP BY pday, media;

3.查询数据。利用函数，将预估基数值解析出来，得到uv.

SELECT media,cardinality(merge(cast(hll AS HyperLogLog))) AS daily_unique_users
FROM visit_uv1
WHERE pday=20190301;

但是即使HLL如此惊人，精确度欠缺还是一个令人头疼的问题，不过还好presto 223 之后就支持了精确值的参数设定

INSERT INTO visit_uv1
SELECT pday, media, cast(approx_set(userid,0.005) AS varbinary)
FROM base
WHERE (pday>=20190301 and pday<=20190310)
GROUP BY pday, media;

对于presto的精确度的设定，范围是0.0040625-0.26000，如果想要精确些，就填最小值。