Flink从入门到精通01之Flink架构

最新推荐文章于 2024-04-02 21:42:15 发布
最新推荐文章于 2024-04-02 21:42:15 发布
阅读量203 收藏
点赞数
分类专栏： 大数据 文章标签： flink big data flink架构 flink学习 flink理解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46036165/article/details/120779109
版权

1. Flink cluster architecture

在这里插入图片描述

  • Job Manager: 管理节点，每个集群至少一个，管理整个集群计算资源，Job管理与调度执行，以及Checkpoint协调
  • Task Manager: 每个集群有很多Task Manager， 负责计算资源提供
  • Client: 本地执行应用main()方法解析Job Graph对象，病最终将Job Gragh提交到Job Manager运行，同时监控job执行的状态

2. Job Manager

在这里插入图片描述

  • Checkpoint Coordinator
  • JobGraph => Execution Graph
  • Task deploy and dispatch
  • RPC communication(Actor System)
  • Job acceptance(Job Dispatch)
  • 集群资源管理(ResourceManager)
  • TaskManager注册与管理

3. Task Manger

最低0.47元/天 解锁文章
flink入门到精通
laogong的博客
01-28 1384
1、lambada架构需要同时搭建批处理（保证数据准确）和流处理（低延迟）两套架构。而flink结合spark-streaming（高吞吐，数据准确性）和storm（低延迟）的优点，这样相当于一套架构实现了lambada架构。 ...
Flink架构从入门到精通以及Flink的四层Api详细剖析[持续更新]
曹利荣的博客
08-10 798
qqqqqqqqqqqqqq
Flink从入门到精通系列文章
weixin_33955681的博客
03-10 537
戳更多文章： 1-Flink入门 2-本地环境搭建&构建第一个Flink应用 3-DataSet API 4-DataSteam API 5-集群部署 6-分布式缓存 7-重启策略 8-Flink中的窗口 9-Flink中的Time Flink时间戳和水印 Broadcast广播变量 FlinkTable&SQL Flink实战项目实时热销排行 Flink写入RedisSink F...
【大数据】Flink从入门到精通
后端研发工程师Marion的博客
11-27 776
一、参考资料 1. 视频教学 042.尚硅谷_Flink-Watermark概念
Flink从入门到精通系列（一）
prefect_start的博客
03-09 3147
Flink概述、流式数据处理的发展是演变以及Flink的快速入门案例
flink从入门到精通-flink简介
星&海的博客
09-07 2968
flink入门 flink的由来 名称的由来 名称由来起源于德国的科研项目，在德语中，flink 一词表示快速和灵巧。 什么是flink Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。 flink可以将各类型数据源的数据中的各类型数据进行流式读取，并将数据实时计算处理后
Flink从入门到精通
05-28
Flink从入门到精通 Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 的发展历程始于 2008 年，前身是柏林理工大学的一个研究性项目（Stratosphere）。2014 年被 Apache 孵化器所...
flink入门到精通视频教程
07-15
第二章 Flink架构体系 01.Flink中重要角色 02.无界数据流与有界数据流 03.Flink数据流编程模型 04.Libraries支持 第三章 Flink集群搭建 01.环境准备工作 02.local模式 03.Standalone集群模式 04.Standalone-HA集群...
flink1.12入门到精通视频课程
07-15
10-[掌握]-Flink入门案例-代码实现-2-DataStream流批一体-匿名内部类版 11-[掌握]-Flink入门案例-代码实现-2-DataStream流批一体-Lambda版 12-[掌握]-Flink入门案例-代码实现-2-DataStream流批一体-On-Yarn 13-[掌握...
大数据技术10：Flink从入门到精通
何哥的博客
12-11 733
Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。截止目前2023年12月Flink最新版本为v1.18.0。Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。
flink入门_Flink技术详解，Flink框架从入门到精通
weixin_39735509的博客
11-30 225
【Flink简介】概述如今的大数据技术应用场景，对实时性的要求已经越来越高。作为新一代大数据流处理框架，由于非常好的实时性，Flink独树一帜，在近些年引起了业内极大的兴趣和关注。Flink能够提供毫秒级别的延迟，同时保证了数据处理的低延迟、高吞吐和结果的正确性，还提供了丰富的时间类型和窗口计算、Exactly-once 语义支持，另外还可以进行状态管理，并提供了CEP（复杂事件处理）的支持。Fl...
【Flink从入门到精通 01】流式处理概念
十二
02-20 1204
“Flink中流式处理的概念是实时计算的基石，也是你踏入Flink的第一步。” 今天和大家一起聊聊流式处理的通用概念。如果还不清楚这些概念的同学，今天的分享一定会给你带来收获的。关于Flink，之前的《Flink入门安装》可以先看看。 01 Flink 是什么 在讲流式处理的通用概念之前，我们先引用Flink官网的一段话： Apache Flink is a framework and distributed processing engine for stateful computations ov.
Flink保姆级教程,超详细,教学集成多个第三方工具(从入门到精通)
最新发布
Oz_Mood的博客
04-02 1万+
Flink 允许你通过实现接口来创建自定义数据源。// 定义一个自定义数据源Thread.sleep(1000) // 模拟数据生成延迟// 创建执行环境// 添加自定义数据源// 打印数据流// 启动 Flink 作业以上示例展示了如何在 Scala 中使用 Flink DataStream API 来从不同的数据源获取数据。每个示例都包含了创建数据流的代码和对数据流进行操作的注释。这些示例可以作为构建更复杂 Flink 流处理作业的起点。
Flink从入门到实践（一）：Flink入门、Flink部署
秃了也弱了
02-08 3804
离线：结果是一次性出来的。实时：来一个数据处理一次，数据是带状态的。
Flink从入门到精通系列（三）
prefect_start的博客
03-10 971
Flink 运行时架构、作业的提交流程、数据流图、并行度、算子链、作业图与执行图、任务与任务槽
flink从入门到精通系列之：map、flatmap、filter
zhengzaifeidelushang的博客
12-24 1023
flink从入门到精通系列之：map、flatmap、filter import org.apache.flink.api.common.functions.FilterFunction; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.streaming.api.dat
Flink从入门到精通之-01初识 Flink
数字人生
03-10 732
Flink 是第三代分布式流处理器，它的功能丰富而强大。本章作为学习 Flink 的入门和综述，主要介绍了 Flink 的源起和应用，引出了流处理相关的一些重要概念，并通过介绍数据处理架构发展演变的过程，为读者展示了 Flink 作为新一代分布式流处理器的架构思想。最后我们还将 Flink 与时下同样火热的处理引擎 Spark 进行了对比，详细阐述了 Flink 在流处理方面的优势。
Flink从入门到精通之-03Flink 部署
数字人生
03-29 538
Flink 支持多种不同的部署模式，还可以和不同的资源管理平台方便地集成。本章从快速启动的示例入手，接着介绍了 Flink 中几种部署模式的区别，并进一步针对不同的资源提供者展开讲解了具体的部署操作。在这个过程中，我们不仅熟悉了 Flink 的使用方法，而且接触到了很多内部运行原理的知识。关于 Flink 运行时组件概念的作用，以及作业提交运行的流程架构，我们会在下一章进一步详细展开。
Flink从入门到精通系列（六）
prefect_start的博客
03-12 550
Flink多流转换、处理函数
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值