![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 72
Monstar_L
这个作者很懒,什么都没留下…
展开
-
Flink实时数仓落地方案
实时数仓架构图:说明:数据采集层:原始数据目前分三种,由中台生成的埋点日志用于主流,RDBMS则是获取业务库表,通常用于维表关系所需,binlog日志通过cdc方式进入kafka进行消费,用于大维表的增量更新。数据计算层:数据计算层的计算引擎是Flink,通过较上层的FlinkSQL实现数据的ETL加工,其中HDFS作用于大维表初始化到Hbase过程所用,再通过Flinksql消费binlog日志进行增量更新。数据共享层:通过Flinksql对主流表进行打宽后输出到dw层kafka为最终原创 2022-03-23 23:18:21 · 2713 阅读 · 1 评论 -
ProcessWindowFunction算子单独使用性能较差,如何结合ReduceFunction和AggregateFunction算子结合使用
ProcessWindowFunction结合ReduceFunction、AggregateFunction使用的优化小技巧原创 2022-01-12 16:38:25 · 531 阅读 · 0 评论