flink
yagch
这个作者很懒,什么都没留下…
展开
-
flink 窗口
window一般真实的流都是无界的,怎么处理无界的数据?可以把无限的数据流进行切分,得到有限的数据集进行处理 --也就是得到有界流窗口就是将无限流切割为有限流的一种方式,它会将流数据分发到有限大小的桶中进行分析窗口类型时间窗口(time window)滚动时间窗口(Tumbling Window)将数据依据固定的窗口长度对数据进行切分时间对齐,窗口长度固定,没有重叠,每条数据...原创 2020-01-14 23:41:16 · 320 阅读 · 0 评论 -
flink 并行度 任务链 task分配
Flink 中每一个 TaskManager 都是一个JVM进程,它可能会在独立的线程上执行一个或多个 subtask为了控制一个 TaskManager 能接收多少个 task, TaskManager 通过 task slot 来进行控制(一个 TaskManager 至少有一个 slot)slot 主要隔离内存,cpu 是slot之间共享的。也就是说4核的机器 ,内存足够,可以把s...原创 2020-01-11 14:29:37 · 4433 阅读 · 0 评论 -
flink 1.9.1 mac 单机使用
1、Standalone部署flink 安装包解压后放在自定义的位置,看个人习惯选择配置环境变量https://flink.apache.org/downloads.html#apache-flink-191这里使用的是没有hadoop 支持的版本,standalone模式无需hadoop支持修改配置文件vim flink-1.9.1/conf/flink-conf.yaml...原创 2020-01-10 22:00:46 · 441 阅读 · 0 评论 -
flink assign watermark源码分析
水印生成的周期默认的生成周期是200毫秒,我们可以在环境中修改这个时间val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) // T...原创 2020-01-09 21:33:41 · 357 阅读 · 0 评论