分布式运行时环境

任务和算子链

对于分布式,Flink链算子子任务一起放入任务,每个任务由一个线程执行。将算子链接到任务是一项有用的优化:它可以Reduce线程到线程切换和缓冲的开销,并在降低延迟的同时提高整体吞吐量。
下图中的示例数据流由五个子任务执行,因此具有五个并行线程。
在这里插入图片描述

TaskManager,JobManager,客户端

Flink运行时包含两种类型的进程:

  • JobManagers(也称Masters)协调分布式执行。他们协调任务,协调检查点,协调故障恢复等。
    总是至少有一个Job Manager,高可用性设置将具有多个JobManagers,其中一个始终是Leader,其他处于待机状态。
  • TaskManagers(也叫工人)执行任务的数据流,以及缓冲器和交换数据流。
    必须至少始终有一个TaskManager。
    JobManagers和TaskManagers可以通过多种方式启动:作为独立集群直接在计算机上,在容器中,或由YARN或Mesos等资源框架管理。TaskManagers连接到JobManagers,宣布自己可用,并被分配工作。
  • 客户端不是运行时程序用来执行的一部分,而是被用来准备和发送的数据流的JobManager。之后,客户端可以断开连接或保持连接以接收进度报告。客户端既可以作为触发执行的Java / Scala程序的一部分运行,也可以在命令行进程中运行./bin/flink run …。
    在这里插入图片描述

任务槽和资源

每个worker(TaskManager)都是一个JVM进程,可以在不用的线程中执行一个或多个子任务,为了控制工人接受的任务数量,工人有所谓的任务槽(至少一个)。

每个任务槽代表TaskManager的固定资源子集。例如,具有三个插槽的TaskManager将其1/3的托管内存专用于每个插槽。切换资源意味着子任务不会与来自其他作业的子任务竞争托管内存,而是具有一定数量的保存托管内存。请注意,此处不会发生CPU隔离; 当前插槽只分离任务的托管内存。

通过调整任务槽的数量,用户可以定义子任务如何相互隔离。每个TaskManager有一个插槽意味着每个任务组在一个单独的JVM中运行(例如,可以在一个单独的容器中启动)。拥有多个插槽意味着更多子任务共享同一个JVM。同一JVM中的任务共享TCP连接(通过多路复用)和心跳消息。它们还可以共享数据集和数据结构,从而Reduce每任务开销。
在这里插入图片描述
默认情况下,Flink允许子任务共享插槽,即使它们是不同任务的子任务,只要它们来自同一个作业。结果是一个槽可以保存作业的整个管道。允许此插槽共享有两个主要好处:

Flink集群需要与作业中使用的最高并行度一样多的任务槽。无需计算程序总共包含多少任务(具有不同的并行性)。

更容易获得更好的资源利用率。如果没有插槽共享,非密集 源/ map()子任务将阻止与资源密集型窗口子任务一样多的资源。通过插槽共享,将示例中的基本并行性从2增加到6可以充分利用时隙资源,同时确保繁重的子任务在TaskManagers之间公平分配。
在这里插入图片描述
API还包括可用于防止不期望的时隙共享的资源组机制。
根据经验,一个很好的默认任务槽数就是CPU核心数。使用超线程,每个插槽然后需要2个或更多硬件线程上下文。

状态后台

存储键/值索引的确切数据结构取决于所选的状态后台。一个状态后台将数据存储在内存中的哈希映射中,另一个状态后台使用RocksDB作为键/值存储。除了定义保存状态的数据结构之外,状态后台还实现逻辑以获取键/值状态的时间点SNAPSHOT,并将该SNAPSHOT存储为检查点的一部分。
在这里插入图片描述

保存点

用Data Stream API编写的程序可以从保存点恢复执行。保存点允许更新程序和Flink群集,而不会丢失任何状态。

保存点是手动触发的检查点,它会获取程序的SNAPSHOT并将其写入状态后台。他们依靠常规的检查点机制。在执行期间,程序会定期在工作节点上创建SNAPSHOT并生成检查点。对于恢复,仅需要最后完成的检查点,并且一旦新的检查点完成,就可以安全地丢弃旧的检查点。

保存点与这些定期检查点类似,不同之处在于它们由用户触发,并且在较新的检查点完成时不会自动过期。可以从命令行或通过REST API取消作业时创建保存点。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值