PacosonSWJTU的博客

【README】本文总结了flink时间语义和水位线的知识；【1】时间语义1）时间分类Event Time： 事件创建的时间（事件发生时间）； Ingestion Time：数据进入flink的实际； Processing Time：执行算子的本地机器时间 ；我们主要讨论的是 事件时间；【2】水位线...

【README】本文记录了 窗口算子的触发器trigger和 evictor清理器；trigger触发器：决定了一个窗口（由 window assigner 定义）何时可以被 window function 处理； evictor清理器： evictor 可以在 trigger 触发后、调用窗口函数之前或之后从窗口中删除元素；【1】触发器trigger1）Trigger 接口提供了五个方法来响应不同的事件：onElement() 方法在每个元素被加入窗口时调用。 onEventTime

【README】本文记录了 窗口算子操作； 本文使用的flink为 1.14.4 版本； 本文部分内容总结自 flink 官方文档：窗口 | Apache Flink窗口 # 窗口（Window）是处理无界流的关键所在。窗口可以将数据流装入大小有限的“桶”中，再对每个“桶”加以处理。 本文的重心将放在 Flink 如何进行窗口操作以及开发者如何尽可能地利用 Flink 所提供的功能。下面展示了 Flink 窗口在 keyed streams 和 non-keyed streams 上使用的基本结构

【README】本文记录了flink sink操作，输出目的存储器（中间件）包括kafka； es； db； 等等有很多； 本文只给出了 sink2kafka的代码；本文使用的flink为 1.14.4 版本；本文部分内容参考了 flink 官方文档，如下：Kafka | Apache Flinkhttps://nightlies.apache.org/flink/flink-docs-master/zh/docs/connectors/datastream/kafka/【1】

【README】本文记录了flink对数据的转换操作，包括基本转换，map，flatMap，filter； 滚动聚合； 本文使用的flink为 1.14.4 版本；maven依赖如下：<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> &lt

【README】本文记录了flink读取不同数据源的编码方式，数据源包括；集合（元素列表）； 文件 kafka； 自定义数据源；本文使用的flink为 1.14.4 版本；maven依赖如下：<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId>

【README】本文记录了flink单机部署，以及flink job2种提交方式；【1】flink 单机部署step1）下载flink 包；Apache Flink: Stateful Computations over Data Streamshttps://flink.apache.org/step2）解压tar -zxvf flink-1.14.4-bin-scala_2.12.tgz -C flink-1.14.4step3）查看flink 默认配置vim con.

【README】1.本文包含了 批处理与流处理的代码示例；批处理：把数据 攒在一起（或攒一段时间或攒一定内存大小），然后再处理，这叫批处理； 流处理：数据每来一个就处理一个；2.特点：数据处理方式 特点 批处理 1.高延时； 流处理 1.低延时； 3.引入flink的maven依赖：<dependencies> <dependency> <groupId>org.apache.fl