flink生成Watermark之assignTimestampsAndWatermarks 在DataStreamSource对象上调用assignTimestampsAndWatermarks方法，自定义Timestamp提取规则和Watermark生成规则。文章目录基于AssignerWithPeriodicWatermarks接口基于AssignerWithPeriodicWatermarks接口AssignerWithPeriodicWatermarks接口扩展自TimestampAssigner类，其中extractTimestamp方法定义抽取Timestamp，getCurre
Flink主从架构、任务和算子链 图中客户端Client不是Flink运行时框架的一部分，而是用来准备和提交数据流作业的。由图可知，当flink代码编译后，一般会经过优化处理，当flink程序通过客户端提交任务Job到JobManager主节点后，JobManager会用任务调度器进行调度，并分配到从节点TaskManager上执行。Client、JobManager、TaskManager间通过Actor System实现通信，Actor是一种并发模型，其中基于Actor模型系统中的线程（或进程）通过消息传递的方式进行通信，而这些线.
flink常见概念 Flink Application：一种java应用程序，主要通过main方法来提交一个或多个Flink Job.Flink Cluster：Flink集群是由至少一个Flink JobManager和一个或多个TaskManager进程组成的分布式系统。事件（Event）：可以当做流处理或批处理应用程序当中的输入或输出，事件在flink中是一种特殊类型的记录（Record）。记录（Record）：数据集或数据流的组成元素。Operator和Function接收record作为输入，并将record.
flink窗口分类 文章目录Dataflow模型数据流图流处理Dataflow模型Dataflow模型提供了一种统一流处理和批处理的系统框架。Dataflow模型对于无序流数据，提供了一套基于事件时间、水位线和延迟处理的机制，从而实现窗口聚合计算的能力，以实现流数据计算的正确性、高吞吐和延迟3者的平衡。数据流图数据流图有逻辑数据流图（节点表示算子）和物理数据流图（节点表示任务）。数据分配策略：转发分配策略：将流数据从一个任务节点直接分配到下一个任务节点。基于key分配策略：对数据分区，保证同一key的数据由同
flink环境搭建 Apache Flink是一个开源大数据框架和分布式处理引擎，用于在无边界（有定义流的开始，但没有定义流的结束）和有边界（有定义流的开始，也有定义流的结束）数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。1.flink依赖jdk和scala（安装省略）jdk环境变量配置：vim /etc/profileexport JAVA_HOME=/home/hadoop/jdk8export PATH=$JAVA_HOME/bin:$PATHexport
关注
