- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 flink的作业提交和任务调度
streamgraph -> jobgraph -> executiongraph -> physicalgraph
2020-04-21 22:03:35
841
原创 Flink的Exactly-Once语义保证
1.大数据领域处理数据时的三种语义At-Most-Once:系统对每一条数据最多只处理一次，也即存在数据丢失的情况。At-Least-Once:系统对每一条数据至少处理一次，也即存在对数据重复消费的情况。Exactly-once:系统对每一条数据恰好只处理一次，不会出现上面两种数据丢失和重复消费的情况。但是，对于一套完整的数据处理流程(从数据输入，到引擎处理，再到最终结果的输出)来说，...
2020-04-15 17:39:26
509
原创 浅谈Flink的Watermark机制
浅谈Flink的Watermark机制什么是watermark？watermark对应的中文是水位或水位线，用来判断一批数据是否到达的标识。为什么要有watermark？ 在真实的数据传输过程中，数据不一定按照其产生的时间顺序的到达，可能会是乱序的。我们不可能一直无限期的等待下去，所以要设置一个最大的等待时间，也就是watermark的概念，当等于watermark的时间戳的数据来...
2020-03-26 16:56:09
455
Kylin on Parquet.pdf
开源OLAP分析引擎Kylin最新支持parquet存储，并且使用spark进行cube的构建。本文档是Kyligence工程师关于上述内容的相关分享。
2020-04-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人