【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用011-Slot和Parallelism的深入分析006

最新推荐文章于 2022-04-08 22:53:43 发布
最新推荐文章于 2022-04-08 22:53:43 发布
阅读量4.8k 收藏 2
点赞数
分类专栏： bigdata cloudcomputing flink 文章标签： apache 应用 数据 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liguohuaBigdata/article/details/78574947
版权
bigdata 同时被 3 个专栏收录
187 篇文章 2 订阅
订阅专栏
cloudcomputing
183 篇文章 0 订阅
订阅专栏
flink
86 篇文章 57 订阅
订阅专栏

七、在webUI上分析parallelism

1.集群情况

3个taskManager,每个taskmanager有4个slot,共12slot,完全被占用，0个Available。

这里写图片描述

2.job使用parallelism情况

Reduce操作和DataSink操作都是12个parallelism，正好占完所有的slot.

这里写图片描述

3.查看具体的操作执行情况

不难看出，每个机器上有4个subtask在执行，实际上就是thread。

这里写图片描述

4.查看具体的操作调度情况

可以分析出，各个subtask在相应的机器上的调度时间。

这里写图片描述

5.job在terminal中的执行情况

从terminal输出的日志不难看出各个操作符号的subtask的执行情况

这里写图片描述

李国华技术博客
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
从0到1Flink的成长之路(二十)-Flink 高级特性（二）之State 状态后端
熊老二的博客
06-29 198
State 状态后端 注意：前面学习Checkpoint其实就是Flink中某一时刻，所有的Operator的全局快照，那么快照应该要有一个地方进行存储，而这个存储的地方叫做状态后端（StateBackend）。 Flink中的State状态后端有很多种： state_backends 1）、MemStateBackend 内存存储，即MemoryStateBackend，构造方法是设置最大的StateSize，选择是否做异步快照。 对于State存储在 TaskManager 节点也就是执行节点内存中
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用006-Slot和Parallelism的深入分析001
云星数据-http://www.cloud-star.com.cn
11-18 7700
一、flink架构1.flink是一个主从结构的分布式程序，它由client和cluster两部分组成。2.cluster由主节点JobManager（JM）和从节点TaskManager组成(TM)。 a.JM负责协调分布式执行：调度Task、协调检查点、协调失效恢复等工作。 JM至少要有一个，也可有多个。多个JM可基于zookeeper做HA,一个active，其余stand
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用008-Slot和Parallelism的深入分析003
云星数据-http://www.cloud-star.com.cn
11-19 7082
四、任务槽（task-slot）和槽共享（Slot Sharing）1.任务槽（Task slot）1.flink的TM就是运行在不同节点上的JVM进程（process）,这个进程会拥有一定量的资源。比如内存，cpu，网络，磁盘等。 flink将进程的内存进行了划分到多个slot中.图中有2个TaskManager，每个TM有3个slot的，每个slot占有1/3的内存。2.内存被划分到不同的s
flink--8 fink的一些高级特性 Boradcast Accumulators Distributed Cache
m0_37139189的博客
06-20 213
l把元素广播给所有的分区，数据会被重复处理 •类似于storm中的allGrouping •dataStream.broadcast() l广播变量允许编程人员在每台机器上保持1个只读的缓存变量，而不是传送变量的副本给tasks l广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点。另外需要记住，不应该修改广播变量，这样才能确保每个节点获取到的值都是一致...
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用007-Slot和Parallelism的深入分析002
云星数据-http://www.cloud-star.com.cn
11-18 7304
三、并行度（parallelism）和任务链（Task Chains）1.并行度1.flink架构是分布式的，也就决定了程序（Progrram）和数据流（Dataflows）也是分别式的。 2.Dataflow也是一个分布式概念，它的Stream被查分成Stream-Partition,Operator被查分成subtask. Stream-Partition本质就是data-partition
金蝶云星瀚案例集锦-线上版.pdf
02-17
《金蝶云星瀚案例集锦》展示了金蝶云·星瀚如何帮助企业重构数字战斗力，以适应数字时代的新挑战。在这个科技力量重塑行业竞争格局的时代，企业必须掌握数据科技，才能在商业竞争中占据优势。金蝶云·星瀚通过五种...
kkFileView-4.4.0 源码编译包包含Windows和Linux两个版本
最新发布
10-18
下载后可以直接部署使用，是基于官方最新的源码进行maven编译得到的。 2023年07月10日，v4.4.0版本迭代开启 1. ofd修复部分已知问题. 2. 更新xlsx前端解析组件 3. 修复 forceUpdatedCache 属性设置，但是本地缓存...
cloud-star:一个基于Arduino和FastLED的项目
04-13
**云星：Arduino与FastLED的创意融合** 在探索物联网(IoT)世界时，Arduino是一种常见的开源硬件平台，它以其易用性和灵活性而受到广大爱好者的喜爱。在这个名为"云星"的项目中，Arduino被用来控制LED灯条，通过...
EA6900-2023年最新版梅林系统
08-19
本文将深入解析“EA6900-2023年最新版梅林系统”，这是一款专为特定型号路由器设计的先进固件，具有显著提升信号强度和稳定性的重要特性。 首先，我们要明确“梅林系统”是什么。梅林（Merlin）是基于OpenWrt项目...
5300-羚羊：2020年Spring在西雅图U的CPSC53004300的DB Relation Manager项目
02-16
刘云星/耿富源##-Milestone5和6添加了 添加功能以完成里程碑5和6 标签 Milestone1正在处理HyLine解析器返回的AST和命令循环的常规设置。 Milestone2h具有教师为Milestone 2提供的文件。（请注意， heap_storage.cpp...
Flink七武器及应用实战.pdf
12-26
Flink七武器及应用实战.pdf;
《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍
http://www.54tianzhisheng.cn/
03-03 1903
转载请务必注明原创地址为：http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/ , 未经允许禁止转载。 前言 之所以写这个是因为前段时间自己的项目出现过这样的一个问题： Caused by: akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka:/...
从0到1Flink的成长之路(二十)-Flink 高级特性（二）之Flink 状态管理
熊老二的博客
06-22 73
Flink 状态管理 state 1 Flink 有状态计算 注意：Flink中已经对需要进行有状态计算的API，做了封装，底层已经维护好了状态！例如，之前下面代码，直接使用即可，不需要像SparkStreaming那样还得自己写updateStateByKey。 学习的State只需要掌握原理，实际开发中一般都是使用Flink底层维护好的状态或第三方维护好的状态（如Flink整合Kafka的offset维护底层就是使用的State，已经实现好的）。 package xx.xxxxx.flink.star
2021年最新最全Flink系列教程__Flink高级特性和新特性(八)
Maynor的博客
06-24 541
day08_Flink高级特性和新特性 今日目标 BroadcastState状态管理 Flink DataStream 双流 Join Streaming File sink 落地 File Sink 落地 FlinkSQL 整合 Hive BroadcastState 状态管理 broadcast state 广播变量状态 应用场景 关联更新的规则，获取指定的数据（给ip得到经度纬度）=> 地图 API 获取到 省市区街道位置 需求 实时Flink DataStream 过滤出配
Flink(十一)：Parallelism 、Slot 简介
在前进的路上
04-08 2287
TaskManager（也称为 worker）执行作业流的 task，在 TaskManager 中资源调度的最小单位是 task slot，slot也起到缓存和交换数据流，TaskManager 中 task slot 的数量表示并发处理 task 的数量，Flink 每个task 的数量是由Parallelism设置的，合理设置solt、parallelism的数量对减少延迟、增加整体吞吐量起到关键作用
Flink-slot与parallelism
文天大人
09-25 688
怀念二抱三抱
Flink Parallelism 和 Slot 深度理解
http://www.54tianzhisheng.cn/
09-22 310
相信使用过 Flink 的你或多或少遇到过下面这个问题（笔者自己的项目曾经也出现过这样的问题），错误信息如下： Caused by: akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka://flink/user/taskmanager_0#15608456]] after [10000 ms]. Sender[null]...
（5）Flink-并行度parallelism、插槽slot
allensandy的博客
05-21 1564
概述 parallelism指的是并行度的意思。在 Flink 里面代表每个任务的并行度，适当的提高并行度可以大大提高 job 的执行效率，比如你的 job 消费 kafka 数据过慢，适当调大可能就消费正常了。 slot指的是插槽的意思，flink中任务的并行性由每个 Task Manager 上可用的 slot 决定。 设置并行度的几种方式 执行环境层面 env.setParallelism(3); 算子层面 sum(1).setParallelism(3) 客户端层面 ./bin/fl
Flink中任务的并发：slot和parallelism
追寻梦想的青春
05-06 1500
Flink中任务的并发：slot和parallelism 1 任务的执行流程 Flink有三大组件：client、JobManager、TaskManager。client将用户提交的任务解析成执行流程图，然后提交给JobManager，JobManager收到任务执行流程图后，进行并行化，JobManager再申请TaskManager资源，将具体的任务交给TaskManager执行。 2 slot TaskManager相当于是Worker，是具体执行任务的工作者，TaskManager在启动后会设置s
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值