Flink菜鸟教程(二)——时间概念

 欢迎关注公众号——《数据三分钟》

一线大厂的师兄师姐结合自己的工作实践,将数据知识浅显道来,每天三分钟,助你成为数据达人。还有面试指导和内推机会。

       上一节说到,实时计算中的数据可以看成无界流(unbounded stream),没有确切的结束时间,就像水流一样——逝者如斯夫,不舍昼夜。这也是实时数据区别于离线数据的地方,离线数据是有界的,有确定的开始时间和结束时间,因此所有的离线计算都是基于确定的有限数据展开的。

一、实时计算中时间的重要性

       离线计算模式下,计算引擎摄入全量的需要计算的有界数据,按照确定的维度进行聚合,所有的计算过程都是确定的。但是在实时计算中却截然不同,首先实时计算是持续不断进行的,由于网络波动等情况不可避免,数据最终到达算子的时间和数据真实产生的时间并不一致,那么flink引擎以什么为计算的基准呢?又怎么去触发计算呢?这里就不得不提到窗口机制了,它是经典的无界数据的分组计算方式。流式计算中的数据是一条一条源源不断产生的记录,每一条记录都会有产生的时间、进入Flink引擎的时间和到达算子的时间,这些时间分别对应Event time、Ingestion time、Processing time,Flink就是按照这些时间对数据进行分组和计算的。

二、事件时间(Event time)

  • 7
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Flink 1.14 版本是大数据处理框架 Flink 的最新发布版本,下面是对 Flink 1.14 版本教程的回答。 Flink 是一个开源的流处理和批处理框架,能够快速、高效地处理大规模数据。Flink 1.14 版本的教程主要包括以下几个方面的内容: 1. 环境搭建:教程会指导用户如何在本地或者云上搭建 Flink 1.14 版本的运行环境。包括安装和配置 JDK、Flink、相关的依赖库等。 2. 基本概念和架构:介绍 Flink 的基本概念和核心架构,包括数据流的处理模型、数据流的转换操作和窗口操作等。帮助用户理解 Flink 的基本工作原理。 3. 流处理:详细介绍 Flink 1.14 版本中的流数据处理功能,包括数据源的定义、数据转换的操作符和函数、窗口操作和触发器等。提供实际示例和代码演示,帮助用户快速上手。 4. 批处理:介绍 Flink 1.14 版本中的批数据处理功能,包括批处理 API 的使用、批处理作业的调度和执行等。让用户了解如何使用 Flink 处理离线批处理任务。 5. 故障恢复和容错机制:讲解 Flink 1.14 版本中的故障恢复和容错机制,包括检查点和保存点的使用、故障恢复的策略、状态后端的选择等。帮助用户保证作业的可靠性和稳定性。 6. 集成和扩展:介绍 Flink 1.14 版本的集成和扩展机制,包括与其他开源组件的集成、自定义函数和操作符的开发等。让用户了解如何在 Flink 中实现自己的需求。 总结来说,Flink 1.14 版本的教程致力于向用户展示如何使用 Flink 进行流处理和批处理,并提供了丰富的实例和代码演示,帮助用户快速上手。同时,教程还介绍了 Flink 的故障恢复和容错机制,以及集成和扩展的能力,帮助用户在实际应用中更好地利用 Flink 的优势。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值