FLINK-运行架构

已于 2024-07-20 16:08:00 修改
阅读量165 收藏
点赞数 2
文章标签： flink java 大数据
于 2024-07-20 16:03:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ALX3li/article/details/140572755
版权

为什么要学习Flink运行架构？
虽然现在大厂的开发工具都非常高效、只需要进行参数配置、Flink-sql写业务逻辑，但是在资源配置逻辑优化上不可避免需要了解底层的组件配置。面试时可能也会被问到FLINK是如何进行资源分配、作业运行的等。
以下是在学习时记录的思维导图，希望对你能有所帮助！

在这里插入图片描述

参考链接：
官方文档运行架构介绍
https://nightlies.apache.org/flink/flink-docs-release-1.11/fig/processes.svg

冬至喵喵
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
11、Flink配置flink-conf.yaml详细说明（HA配置、checkpoint、web、安全、zookeeper、historyserver、workers、zoo.cfg）
alanchanchn的专栏
07-18 4万+
里面是每个 worker 节点的 IP/Hostname，每一个 worker 节点之后都会运行一个 TaskManager，一个一行。安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。以上，简单的介绍了flink的配置文件内容及配置项说明。本文简单的介绍了flink的配置文件内容及配置项说明。conf文件夹下的文件目录。
Flink-运行时架构
qq_38304392的博客
05-30 161
运行时组件 Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作：作业管理器(JobManager)、资源管理器(ResourceManager)、任务管理器(TaskManager)，以及分发器(Dispatcher)。因为 Flink 是用 Java 和 Scala 实现的，所以所有组件都会运行在Java 虚拟机上。每个组件的职责如下： 1.作业管理器...
详解 Flink 的运行架构
weixin_44480009的博客
06-06 1017
算子链 (Operator Chain)：并行度相同、同一个 slot 共享组且数据传输方式为 one-to-one 的算子们可以合并成为一个算子链，形成一个 Task 由一个线程执行。Task Slot：在 TaskManager 上拥有计算资源的一个固定大小的子集，一个 TaskManager 上的所有 Task Slot 会均分整个内存，所以任务之间不受影响。并行子任务 (Subtask)：一个算子操作可以 “复制” 成多份分布到不同的节点去运行，每个节点所运行的任务称为该算子的一个并行子任务。
Flink运行架构-运行组件介绍
Alecor的博客
02-05 613
Flink运行架构-运行组件
10分钟入门Flink--架构和原理
很多时候犯错都是在不知情的情况下发生的
11-19 230
相信你读完上一节的对Flink已经有初步了解了。这是继第一节之后的Flink入门系列的第二篇，本篇主要内容是是：了解Flink运行模式、Flink调度原理、Flink分区、Flink安装。
flink-cdc初体验
gsw的博客
11-12 1919
flink-cdc是一款专用于数据库增量数据监控的插件。基于flink计算引擎提供的高性能，高可用性，高扩展性的数据监控功能。当前flink-cdc支持读取例如mysql，oracle，mongodb，tidb，postgres等常见的数据库类型
flink-kubernetes-operator 的简单使用
阿甘兄
02-13 3331
flink kubernetes operator 学习笔记
Flink 运行架构
qq_70085330的博客
08-24 332
Flink 运行架构
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip
02-29
1. **Flink架构** - **分布式流处理引擎**：Flink的核心是分布式流处理引擎，它可以处理无界和有界数据流。 - **DataStream API和DataSet API**：DataStream API用于实时流处理，而DataSet API用于批处理。 - **...
flink-1.13.6-bin-scala_2.11.tgz
07-14
总结来说，"flink-1.13.6-bin-scala_2.11.tgz" 压缩包是开发者探索和使用 Apache Flink 的起点，通过解压并配置这个包，可以深入了解 Flink 的架构、API 和运行机制，从而利用其强大的流处理能力解决实际问题。...
flink-1.10.0-bin-scala_2.11.tgz
05-05
1. **Flink架构**：Flink的核心架构包括DataStream API和DataSet API，用于处理无界和有界数据流。DataStream API用于实时流处理，而DataSet API则适用于批量处理。Flink还采用了一种叫做Event Time的概念，确保在...
flink-1.14.5-bin-scala_2.12.tgz
08-15
二、Flink 的架构与组件 1. DataStream API 和 DataSet API：DataStream API 用于处理无界和有界数据流，而 DataSet API 专注于批处理任务。两者都提供了丰富的算子和转换操作，如 map、filter、join 等，便于用户...
flink-1.12.0-bin-scala_2.11.tgz
02-22
1. **Flink的架构**：Flink的架构设计基于流的概念，包括JobManager（任务管理器）和TaskManager（任务执行器）两个主要组件。JobManager负责作业调度和状态管理，而TaskManager则执行实际的计算任务。 2. **数据流...
Flink CDC 同步表至Paimon 写数据流程，write算子和commit算子。
weixin_47467016的博客
07-14 784
流程图一般基本flink cdc 任务同步数据至paimon表时包含3个算子，source、write、global commit。source端一般是flink connector实现的连接源端进行获取数据的过程，本文探究的是source算子获取的到数据如何传递给writer算子？writer算子如何写数据？global commit算子做了什么事情？第一问：默认根据primary key的hash值决定往哪个桶写入，一个桶对应了一个lsm tree writer。
关于Flume和Flink
qq_36634055的博客
07-17 620
Flink则作为数据处理引擎，接收来自Flume的数据流，执行实时分析、过滤、聚合等操作，并将处理后的数据输出到最终的目的地（如数据库、消息队列或其他下游系统）。而Flink则像是那个真正的主厨，他拿到准备好的食材，开始烹饪，加入调料，做出美味的菜肴。：它的主要任务是收集数据，就像是把散落在各处的日志文件、传感器数据、用户行为数据等收集起来。在现实世界中，很多大数据系统就是这么工作的：先用Flume这样的工具收集和准备数据，然后用Flink这样的工具实时处理数据，最后将处理后的数据用于各种业务决策。
72、Flink 的 DataGen 连接器详解
猫猫爱吃小鱼粮
07-17 385
Flink 的 DataGen 连接器详解
FLINK-checkpoint失败原因及处理方式
最新发布
ALX3li的博客
07-20 213
在 Flink 或其他分布式数据处理系统中，Checkpoint 失败可能由多种原因引起。
Flink底层原理解析：案例解析（第37天）
syhiiu的博客
07-17 1797
Apache Flink 是一个开源的流处理框架，用于处理无界和有界数据流。其底层原理复杂而精细，涉及到数据流模型、任务调度与执行、内存管理、容错机制等多个方面。本文是对 Flink 底层原理的详细分析，并通过举例来说明这些原理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值