Flink
文章平均质量分 61
菜农1024
这个作者很懒,什么都没留下…
展开
-
Flink概念整理
**Flink事件时间、水印和迟到数据处理**介绍Flink的事件时间(event time)、水印(watermark)、乱序(out-of-order)、迟到数据(late element)这些概念。事件时间与水印所谓事件时间,就是Flink DataStream中的数据元素自身带有的、在其实际发生时记录的时间戳,具有业务含义,并与系统时间独立。很显然,由于外部系统产生的数据往往不能及时、按序到达Flink系统,所以事件时间比处理时间有更强的不可预测性。为了能够准确地表达事件时间的处理进度,就转载 2021-12-14 11:54:20 · 153 阅读 · 0 评论 -
flink solt和并行度
简介Flink运行时主要角色有两个:JobManager和TaskManager,无论是standalone集群,flink on yarn都是要启动这两个角色。JobManager主要是负责接受客户端的job,调度job,协调checkpoint等。TaskManager执行具体的Task。TaskManager为了对资源进行隔离和增加允许的task数,引入了slot的概念,这个slot对资源的隔离仅仅是对内存进行隔离,策略是均分,比如taskmanager的管理内存是3GB,假如有两个个slot,那么翻译 2021-12-08 14:10:56 · 723 阅读 · 0 评论 -
Apache-Flink中的Java泛型与Lambda表达式
Q1:针对Java的泛型类型擦除,怎么将匿名内部类的实现方式改成lambda表达式的方式?参考:https://www.cnblogs.com/softlin/p/13549204.html翻译 2021-12-01 10:44:42 · 151 阅读 · 0 评论