场景最佳实践
文章平均质量分 88
aliyunhologres
阿里云Hologres官方运营号
展开
-
37手游云平台基于Flink+Hologres大数据建设实践
本文介绍37手游云平台基于Flink+Hologres大数据建设实践原创 2022-10-17 16:34:32 · 2398 阅读 · 0 评论 -
从零开始,带你玩转一站式实时数仓Hologres
在大数据领域,Hologres一直以其超牛的功能、超高的性能,低成本的运维等优势广受好评,但是随着越来越多的企业开始使用Hologres,大家对Hologres的期待也越来越多:Hologres的功能那么多,应该从哪里开始快速入门?文档介绍太详细,功能使用的最佳实践究竟是什么?怎么跟大数据生态产品相结合,发挥出最优的能力?使用注意事项有哪些?怎么避免误入“坑”?…于是,这个夏天,为了让大家更加了解并精通Hologres,由阿里云Hologres专业团队打造的《玩转一站式实时数仓Hologre原创 2021-07-16 17:13:44 · 346 阅读 · 2 评论 -
Flink+Hologres亿级用户实时UV精确去重最佳实践
UV、PV计算,因为业务需求不同,通常会分为两种场景:离线计算场景:以T+1为主,计算历史数据实时计算场景:实时计算日常新增的数据,对用户标签去重针对离线计算场景,Hologres基于RoaringBitmap,提供超高基数的UV计算,只需进行一次最细粒度的预聚合计算,也只生成一份最细粒度的预聚合结果表,就能达到亚秒级查询。具体详情可以参见往期文章>>Hologres如何支持超高基数UV计算(基于RoaringBitmap实现)对于实时计算场景,可以使用Flink+Hologres方原创 2021-05-28 20:19:53 · 338 阅读 · 0 评论 -
Hologres如何支持超高基数UV计算(基于roaringbitmap实现)
RoaringBitmap是一种压缩位图索引,RoaringBitmap自身的数据压缩和去重特性十分适合对于大数据下uv计算。其主要原理如下:对于32bit数, RoaringBitmap会构造2^16个桶,对应32位数的高16位;32位数的低16位则映射到对应桶的一个bit上。单个桶的容量由桶中的已有的最大数值决定 bitmap把32位数用1位表示,可以大大地压缩数据大小。 bitmap位运算为去重提供了手段。主体思想(T+1):把上一天的所有数据根据最大的查询维度聚合出的uid结果放入Roar原创 2021-05-26 17:56:10 · 322 阅读 · 0 评论 -
Hologres如何支持亿级用户UV计算
背景介绍在用户行为分析和圈人场景中,经常需要从亿级甚至十亿级用户中快速筛选出符合特定标签的用户统计,很多企业会使用Apache Kylin(下文简写为Kylin)来支持这样的场景。但是Apache Kylin的核心是预计算,当遇上设计不合理的Cube,或者需求维度多的场景时,会遇到维度爆炸,Cube构建时间长,SQL函数不支持等问题。本文将介绍阿里云Hologres如何基于RoaringBitmap进行UV等高复杂度计算的方案,实现亿级用户万级标签亚秒级分析,帮助用户从Kylin平滑迁移到Hologre原创 2021-05-24 20:28:53 · 310 阅读 · 0 评论