flink常见概念

最新推荐文章于 2024-12-01 22:54:10 发布

小程序猿

最新推荐文章于 2024-12-01 22:54:10 发布

阅读量486

点赞数

分类专栏： flink 大数据文章标签： flink 大数据

本文链接：https://blog.csdn.net/love20991314/article/details/121376112

版权

本文深入探讨Flink的核心概念，包括Flink Application的定义，Flink Cluster的组成，以及事件、记录、分区、算子等关键术语。了解这些概念有助于更好地掌握Flink的数据处理流程，特别是算子链如何优化数据传输效率，以及JobManager和TaskManager在集群中的角色。

摘要由CSDN通过智能技术生成

                    
                        
                    
                    Flink Application：一种java应用程序，主要通过main方法来提交一个或多个Flink Job.
Flink Cluster：Flink集群是由至少一个Flink JobManager和一个或多个TaskManager进程组成的分布式系统。
事件（Event）：可以当做流处理或批处理应用程序当中的输入或输出，事件在flink中是一种特殊类型的记录（Record）。
记录（Record）：数据集或数据流的组成元素。Operator和Function接收record作为输入，并将record作为输出发出。
分区（Partition）：按照一定规则，对数据流当中的记录进行拆分，构成的独立子集。
算子（Operator）：逻辑数据流图的节点，对数据流当中的元素执行计算操作，通常由函数（Function）来具体执行计算逻辑。Flink中的Source和Sink是数据输入和数据输出的特殊算子。
算子链（Operator Chain）：由至少两个连续的、且符合一定规则的算子串联在一起构成的操作，链中多个算子在同一分区中，算子之间直接进行数据传递，而无须序列化/反序列化或网络传输。
Flink JobManager：是Flink Cluster的主节点。包含三个不同的组件：Flink Resource Manager、Flink Dispatcher、运行每个Flink Job的Flink JobMaster。
Flink JobMaster：是Flink JobManager运行中的组件之一。负责监督单个作业Task的执行。
Flink 

                