![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
just-do-it-zzj
有人经常说:选择比努力更重要,可是如果你不努力,哪里有选择的机会。
展开
-
[Flink]Flink DataStream window join 和interval join
目录 window join interval join window join 窗口连接把两个流中相同窗口通过一个键值连接起来。然后,两边的元素被传递到用户定义的JoinFunction或FlatJoinFunction,在这里用户可以发出满足联接条件的结果。连接模型: //StreamA:左流 streamA .join(streamB)//StreamB:右流 .where(<key selector>)//where条件:左流的Key ....原创 2020-12-01 17:50:23 · 731 阅读 · 0 评论 -
[Flink]Flink的window介绍
概述 窗口是处理无界面流的核心。窗口将流分成有限大小的“桶”,我们可以在这些桶上进行计算。窗口主要有两种,一种基于时间(Time-based Window),一种基于数量(Count-based Window)。本文档重点介绍如何在Flink中执行窗口化。 窗口调用的一般结构如下所示。Keyed Windows表示带健值的流,而Non Keyed Windows表示不带健值的流。区别是带键的keyBy(…)调用window(),而不带键的流调用windowAll()。 窗口的生命周期 ...原创 2020-12-01 15:10:59 · 511 阅读 · 0 评论 -
[Flink]Flink 的物理分区器
概述 Flink通过流分区器StreamPartitioner来控制DataStream中的元素往下游的流向。Flink提供了8种StreamPartitioner: BroadcastPartitioner GlobalPartitioner RebalancePartitioner ShufflePartitioner RescalePartitioner ForwardPartitioner KeyGroupStreamPartitioner CustomPartitioner...原创 2020-11-28 14:38:10 · 344 阅读 · 0 评论 -
[Flink]Flink常用的DataStream转换算子
目录 3.1 Map 3.2 FlatMap 3.3 Filter 3.4 KeyBy 3.5 Reduce 3.6 Fold 3.7 Aggregations 3.8 Window 3.9 WindowAll 4.0 Aggregations on windows 4.1 Union 4.2 Split 4.3 select 3.1 Map DataStream → DataStream 一对一转换,即输入的记录和输出的记录相等。 import org.apach.原创 2020-11-26 17:27:59 · 563 阅读 · 0 评论 -
[Flink]Flink DataStream API 概览
目录 什么是 DataStream 什么能被转化为流 流式Flink程序的开发流程 DataStream的数据源 迭代数据流 配置运行时参数 什么是 DataStream Datastream API的名称来自一个特殊的DataStream类,该类用于表示Flink程序中的数据集合。可以将它们视为可以包含重复项的不可变数据集合。这些数据可以是有界的,也可以是无界的,用于处理它们的API是相同的。 注意:Flink 1.9版本后,流式API和批式API逐步进行合并,统一用流式API表示。原创 2020-11-23 17:15:39 · 242 阅读 · 2 评论 -
[Flink] Flink的应用场景
目录 事件驱动型应用 数据分析型应用 数据管道型应用 Flink 功能强大,支持开发和运行多种不同种类的应用程序。它的主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。 事件驱动型应用 事件驱动型应用是一类具有状态的应用,它从一个或多个事件流提取数据,并根据到来的事件触发计算、状态更新或其他外部动作。 事件驱动型应用是在计算存储分离的传统应用基础上进化而来。在传统架构中,应用需要读写远程事务型数据库。相反,事件驱动型应用是基于状态化流处理来完成。在该设计中,原创 2020-11-23 09:58:39 · 372 阅读 · 1 评论