- 博客(5)
- 收藏
- 关注
RSS订阅转载 flink中的事件时间和水印
Flink的数据源在确认所有小于某个时间戳的消息都已输出到Flink流处理系统后，会生成一个包含该时间戳的WaterMark，插入到消息流中，输出到Flink流处理系统中，Flink算子按照时间窗口缓存所有流入的消息。比如：某数据源中的某些数据由于某种原因(如：网络原因，外部存储自身原因)会有2秒的延时，也就是在实际时间的第1秒产生的数据有可能在第3秒中产生的数据之后到来。+ "|水位线时间戳: "+ wm + ","+ format.format(wm.getTimestamp()));
2023-01-01 17:03:55
866
1
原创 对比目前流行的几个大数据查询引擎：Hive、SparkSQL、Presto、Impala、HAWQ、 ClickHouse、Greenplum。
大数据仓库
2022-10-02 15:54:01
1844
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人