Flink学习第六天——Flink常见的运行部署模式介绍和运行流程浅析

已于 2022-08-12 22:36:20 修改
阅读量467 收藏
点赞数 1
分类专栏： Flink从小白变小黑 文章标签： flink 学习 大数据 java kafka
于 2022-08-12 22:30:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16397653/article/details/126312210
版权

  • Flink 部署方式是灵活，主要是对Flink计算时所需资源的管理方式不同

    • Local 本地部署，直接启动进程，适合调试使用
    • Standalone Cluster集群部署，flink自带集群模式
    • On Yarn 计算资源统一由Hadoop YARN管理资源进行调度，按需使用提高集群的资源利用率，生产环境

  • 运行流程

    • 用户提交Flink程序到JobClient，

    • JobClient的 解析、优化提交到JobManager

    • TaskManager运行task, 并上报信息给JobManager

    • 通俗解释

      • JobManager 包工头
      • TaskManager 任务组长
      • Task solt 工人 (并行去做事情)

 

  • Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序

    • 运行时由两种类型的进程组成

      • 一个 JobManager
      • 一个
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Java天下第1
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【flink】Flink 批作业的运行时自适应执行管控
九师兄
03-11 701
本文整理自阿里云高级技术专家朱翥（长耕），在 FFA 核心技术专场的分享。本篇内容是关于在过去的一年中，Apache Flink 对运行时的作业执行管控进行的一些改进。这些改进，让 Flink 可以更好的利用运行时的信息，来灵活的控制作业的执行，从而使得 Flink 批处理作业的执行可以更加的稳定、更有效率，并且更容易运维。详细内容主要分为两个部分：自适应执行计划同源实例的并行执行Tips：点击「阅读原文」查看原文视频&演讲 ppt我们先看一下，Flink 是如何描述作业的执行计划的。
剑指大数据——Flink学习精要_java版
04-21
剑指大数据——Flink学习精要_java版
[flink]一Flink部署|配置文件|提交作业|部署模式|独立模式部署|yarn模式部署
胖胖的博客
03-07 1748
同样由客户端运行应用程序(需要客户端先跑一遍代码，把应用拆分成作业，比如并行度为2，会拆成两个作业，需要启动两个集群)，然后启动集群，作业提交给JobManager，进而分发给TaskManager执行。我们需要先启动一个集群，保持一个会话，在这个会话中通过客户端提交作业(需要客户端先跑一遍代码，把应用拆分成作业，比如并行度为2，会拆成两个作业，然后将作业提交给jobManager)。一个应用启动一个集群。会话模式、单作业模式，都需要客户端先跑一遍代码，把应用拆分成作业，比如并行度为2，会拆成两个作业。
flink 批处理定时执行_Flink 提交任务 0474
weixin_34637293的博客
12-27 4630
Flink的源码体系比较庞大，一头扎进去，很容易一头雾水，不知道从哪部分代码看起。但是如果结合我们的业务开发，有针对性地去跟进源码去发现问题，理解源码里的执行细节，效果会更好。笔者在近期的Flink开发过程中，因为产品的原因，只允许部署Flink standalone模式，出于性能考虑，很有必要对其性能做下测试。Flink的standalone模式的部署方式很简单。只需要设定下基本的全局配置参数就...
四、Flink部署 , job配置与运行
JavaCoder_juejue的博客
03-10 3836
一、安装与配置 1.1standalone 模式 1.1.1上传依赖包 打开配置文件 解压依赖包 通过文件传输工具上传到 opt目录下 [root@localhost ~]# cd / [root@localhost /]# ls bin boot dev etc home jdk lib lib64 media mnt mydata opt proc root run sbin srv swapfile sys tmp usr vagrant
Effective Apache Flink（一）Apache Flink 是什么?
哈喽天方方
09-02 324
Effective Apache Flink（一）Apache Flink 是什么? 目录 Effective Apache Flink（一）Apache Flink 是什么? 一、架构 处理无界和有界数据 部署应用到任意地方 运行任意规模应用 利用内存性能 二、应用 流处理应用的基本组件 流 状态 时间 分层 API ProcessFunction DataStre...
flink源码浅析和运行机理梳理
05-17
基于对flink的学习，和对flink源码的简单梳理，从flink on yarn的角度，介绍flink从启动，到提交yarn任务，以及完成整个过程涉及到的进程交互和内存管理等底层逻辑。该资源一共分为4个部分：1、yarn提交流程，2、...
《剑指大数据——Flink学习精要（Java版）》（最终修订版）.pdf
03-25
《剑指大数据——Flink学习精要（Java版）》（最终修订版）.pdf
剑指大数据——Flink学习精要（Java版)最终修订版
06-18
《剑指大数据——Flink学习精要（Java版）》（最终修订版）.pdf 《剑指大数据——Flink学习精要（Java版）》（最终修订版）.docx 《大数据技术之Flink(Java版)》.doc
剑指大数据——Flink学习精要（Java版）
06-20
剑指大数据——Flink学习精要（Java版）
Flink--批处理HelloWorld
MINGZHEFENG的博客
11-26 828
批处理WordCount 第一步：创建批处理执行环境 ExecutionEnvironment.getExecutionEnvironment 然后这里需要import: import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.java.ExecutionEnvironment 注意：使用scala api又需要引入java东西，所有很多类名称一样，所以引入的时候要注意引入的名称。这里引入scala
Flink任务调度和执行流程
yangzhihua的专栏
06-18 871
第一阶段是全局调度，由ResourceManager负责，它根据资源的可用情况和当前Job的特点，将Job分配给不同的TaskManager，同时还需要考虑Task之间的数据依赖关系。第二阶段是局部调度，由TaskManager负责，它会在自己的本地资源中，将不同的子Task分配到不同的线程上执行。通过对Flink的任务调度和执行流程的详细分析，我们可以更好地了解Flink在实时数据处理中的运行机制，对于吸收和应用Flink技术都有一定的指导意义。本文将详细分析Flink的任务调度和执行流程。
Flink架构及运行流程
qq_46447060的博客
08-30 1239
Flink 架构及相关介绍 1.架构图 分层设计说明(相关术语解释） 物理部署层-deploy层 负责解决Flink的部署模式问题， 支持多种部署模式：本地部署、集群部署（Standalone/Yarn/Mesos）、云（GCE/EC2）以及kubernetes。 通过该层支持不同平台的部署，用户可以根据自身场景和需求选择使用对应的部署模式。 Runtime核心层 是Flink分布式计算框架的核心实现层，负责对上层不同接口提供基础服务。 支持分布式Stream作业的执行、JobGraph到Executio
Flink执行过程
qq_42456324的博客
06-07 3616
Flink执行流程
Flink原理分析--Flink任务执行总体流程
zg_hover的专栏
11-26 3310
Flink任务执行总体流程 本文描述一个Flink任务执行的总体流程的前半部分，执行环境的选择。 Flink任务的一个例子 public class SocketWindowWordCount { public static void main(String[] args) throws Exception { // the port to connect to final int port; try { final Par
flink任务执行流程剖析
weixin_45626756的博客
12-21 1626
背景 本文主要从源码角度对flink底层是如何将task分配到各个taskExecutor上执行，以及task执行的线程模型进行分析。会涉及到jobmaster如何将task分发到taskExecutor中，以及taskExecutor执行task的详细过程，以及task的mailBox线程模型。 JobMaster部署task TM启动Task线程 jobmaster主要通过以及分配的slot，获取到slot对应的taskmanager网管，然后提交task。TaskExecutor创建并启动Task线
【大数据】Flink运行时架构，任务提交流程，调度原理详细指南，包括脑图总结
欢迎来到多多的游乐园！
02-16 362
控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的 JobManager 所控制执行。JobManager 会先接收到要执行的应用程序，这个应用程序会包括:作业图 (JobGraph)、逻辑数据流图(logical dataflow graph)和打包了所有的类、 库和其它资源的JAR包。JobManager 会把JobGraph转换成一个物理层面的数据流图，这个图被叫做“执 行图”(ExecutionGraph)，包含了所有可以并发执行的任务。
flink的部署模式
张不帅
05-08 1401
文章目录会话模式（Session Mode）单作业模式（Per-Job Mode）应用模式（Application Mode） flink 主要分为三种部署模式: ⚫ 会话模式（Session Mode） ⚫ 单作业模式（Per-Job Mode） ⚫ 应用模式（Application Mode） 会话模式（Session Mode） 首先启动一个集群,保持一个会话,在这个会话中通过客户端提交作业,此时集群所有的资源已经确定,所有提交的作业会竞争集群中的资源 问题: 同一个task manager上的作业
Flink的架构以及任务调度流程
Peanut的博客
04-29 2650
flink架构体系 JobManager处理器 也称之为Master，用于协调分布式执行，它们用来调度task，协调检查点(CheckPoint)，协调失败时恢复等。 负责资源申请，任务分发，任务调度执行，checkpoint的协调执行； Flink运行时至少存在一个master处理器，如果配置高可用模式则会存在多个master处理器，它们其中有一个是leader，而其他的都是standby。 TaskManager处理器 也称之为Worker，用于执行一个dataflow的task(或
剑指大数据——flink学习精要 pdf
最新发布
11-30
《剑指大数据——flink学习精要》是一本介绍flink大数据处理框架的重要学习资料。这本书通过系统地介绍flink的相关知识和应用场景，帮助读者快速掌握flink的核心概念和技术要点。 首先，这本书从flink的基本概念和架构入手，深入浅出地介绍了flink的数据流处理模型、状态管理、容错机制等核心概念，让读者对flink有了全面的认识。同时，书中还介绍了flink的常用API和开发工具，帮助读者快速上手flink的开发和调试。 另外，这本书还涵盖了flink在实际项目中的应用场景和最佳实践，包括实时数据处理、事件驱动应用、机器学习模型训练等领域的具体案例分析，为读者提供了丰富的实践经验和参考。 总的来说，《剑指大数据——flink学习精要》具有以下特点：内容系统全面，覆盖了flink的核心知识点；实践性强，通过案例分析帮助读者理解flink在实际项目中的应用；适合各种类型的读者，无论是初学者还是有一定经验的技术人员都能从中获益。 因此，如果你希望快速学习flink大数据处理框架，并在实际项目中应用它，那么《剑指大数据——flink学习精要》绝对是一本不可多得的好书。阅读这本书将帮助你更深入地理解flink的核心理念和技术，提升你在大数据领域的实战能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java天下第1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值