qianchun22的博客

Flink事件时间处理和水印1、Flink 中的时间语义在 Flink 的流式处理中，会涉及到时间的不同概念，如下图所示Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。Ingestion Time：是数据进入 Flink 的时间。Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是 Processing Tim

Flink ProcessFunction分层APIFlink提供三层API. 每个API在简洁性和表达之间提供不同的权衡,并针对不同的用例1、SQL/Table API (dynamic tables)2、DataStream API(streams, windows)3.ProcessFunction(event,state,time)ProcessFunction不要跟ProcessWindowFunction混为一谈。ProcessFunction是一个低阶的流处理

Flink Window 窗口机制一、总览Window 是flink处理无限流的核心,Windows将流拆分为有限大小的“桶”，我们可以在其上应用计算。Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制。在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理

Flink入门（详细教程）和其他所有的计算框架一样，flink也有一些基础的开发步骤以及基础，核心的API，从开发步骤的角度来讲，主要分为四大部分导入flink相关依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.7.2</version><

一、Flink简介Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务：1、DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。2、DataStream API，对数据流进行流处理操作，将流式的数据抽象成分布式的数据流，用户