flink
我是60岁程序员
比你优秀的人还在奔跑,我为什么要停下来
展开
-
快速入门流处理框架Flink --实时报表场景的应用
随着业务的发展,数据量剧增,我们一些简单报表大盘类的任务,就不能简单的依赖于RDBMS了,而是依赖于数仓之类的大数据平台。 数仓有着巨量数据的存储能力,但是一般都存在一定数据延迟,所以要想完全依赖数数仓来解决实时报表问题,是困难的。 其实,所谓的实时报表,往简单了说就是: 对现在的一些数据进行加减乘除聚合后,得到的一串与时间相关的数字。 所以,这类问题的关键点应该在于这个实时数据怎么来,以及怎么处理这些实时数据。 一般地,做这类报表类工作,最基本的原则就是: 业务无侵入性,然后.转载 2020-09-16 14:38:04 · 314 阅读 · 0 评论 -
快速入门流处理框架Flink --实时报表场景的应用
随着业务的发展,数据量剧增,我们一些简单报表大盘类的任务,就不能简单的依赖于RDBMS了,而是依赖于数仓之类的大数据平台。 数仓有着巨量数据的存储能力,但是一般都存在一定数据延迟,所以要想完全依赖数数仓来解决实时报表问题,是困难的。 其实,所谓的实时报表,往简单了说就是: 对现在的一些数据进行加减乘除聚合后,得到的一串与时间相关的数字。 所以,这类问题的关键点应该在于这个实时数据怎...转载 2020-09-16 14:33:00 · 366 阅读 · 0 评论 -
Flink流计算编程--watermark(水位线)简介
【本文转自Flink流计算编程--watermark(水位线)简介】1、watermark的概念watermark是一种衡量Event Time进展的机制,它是数据本身的一个隐藏属性。通常基于...转载 2020-03-19 10:44:00 · 576 阅读 · 0 评论