实时数仓
文章平均质量分 95
雾岛与鲸
这个作者很懒,什么都没留下…
展开
-
实时数仓之Flink维表关联难点解决方案
1、维表关联的典型场景和考量标准1.1、维表关联的典型场景在实时数仓中,我们经常需要做维表关联,但是用户维表一般在业务数据库中,业务方是不允许大数据部门直接到业务数据库进行维表关联,因为这会影响线上业务。此时我们需要将用户维表采集到大数据平台,然后事实表就可以直接跟维表进行关联,从而生成事实宽表,具体场景如下图所示。在生产环境中,我们通过数据采集平台将用户维表采集到大数据平台,然后事实表跟用户维表直接关联就可以了吗?答案,是不行的。因为在生产环境中,我们还需要考虑如下问题:(1)高流量的情况下转载 2020-12-29 14:46:32 · 9434 阅读 · 6 评论 -
flink sql在实时数仓中,关联hbase维表频繁变化的问题
在用flink sql在做实时数仓,架构大概是kafka关联hbase维表,然后写入clickhouse。hbase维表是频繁变化的现在遇到的几个比较棘手的问题:1、自己在实现AsyncTableFunction做异步io的时候,发现性能还是不够。后来就加入本地缓存,但是缓存一致性出现问题,不知道该如何解决2、写入hbase的时候,是批量写的,无法保证有序,维表频繁变化的话,顺序不对,会造成结果有问题3、hbase维表,可能5s后才会更新,但是此时kafka数据流已经过去了,关联的数据都是空不原创 2020-12-18 16:36:18 · 1717 阅读 · 6 评论