hbase
雾岛与鲸
这个作者很懒,什么都没留下…
展开
-
flink sql在实时数仓中,关联hbase维表频繁变化的问题
在用flink sql在做实时数仓,架构大概是kafka关联hbase维表,然后写入clickhouse。hbase维表是频繁变化的现在遇到的几个比较棘手的问题:1、自己在实现AsyncTableFunction做异步io的时候,发现性能还是不够。后来就加入本地缓存,但是缓存一致性出现问题,不知道该如何解决2、写入hbase的时候,是批量写的,无法保证有序,维表频繁变化的话,顺序不对,会造成结果有问题3、hbase维表,可能5s后才会更新,但是此时kafka数据流已经过去了,关联的数据都是空不原创 2020-12-18 16:36:18 · 1701 阅读 · 6 评论 -
flink维表关联系列之Hbase维表关联:LRU策略
LRULRU(Least Recently Used),最近最少使用缓存淘汰算法,认为最近访问过的数据在将来被访问的概率也比较大,当内存达到上限去淘汰那些最近访问较少的数据。在Flink中做维表关联时,如果维表的数据比较大,无法一次性全部加载到内存中,而在业务上也允许一定数据的延时,那么就可以使用LRU策略加载维表数据。但是如果一条维表数据一直都被缓存命中,这条数据永远都不会被淘汰,这时维表的数据已经发生改变,那么将会在很长时间或者永远都无法更新这条改变,所以需要设置缓存超时时间TTL,当缓存时间超过t原创 2020-09-16 15:35:51 · 1108 阅读 · 0 评论