【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用008-Slot和Parallelism的深入分析003

最新推荐文章于 2024-03-08 20:55:07 发布
最新推荐文章于 2024-03-08 20:55:07 发布
阅读量7.1k 收藏 1
点赞数 1
分类专栏： bigdata cloudcomputing flink 文章标签： apache jvm 应用 数据 内存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liguohuaBigdata/article/details/78574847
版权

四、任务槽（task-slot）和槽共享（Slot Sharing）

1.任务槽（Task slot）

这里写图片描述

1.flink的TM就是运行在不同节点上的JVM进程（process）,这个进程会拥有一定量的资源。比如内存，cpu，网络，磁盘等。
  flink将进程的内存进行了划分到多个slot中.图中有2个TaskManager，每个TM有3个slot的，每个slot占有1/3的内存。

2.内存被划分到不同的slot之后可以获得如下好处。
  a.TaskManager最多能同时并发执行的任务是可以控制的，那就是3个,因为不能超过sl
最低0.47元/天 解锁文章
李国华技术博客
关注
专栏目录
Flink面试整理-对Flink的高级特性如CEP（复杂事件处理）、状态后端选择和调优等有所了解
不务正业的猿
05-29 246
Apache Flink 提供了一系列高级特性，使其成为一个强大的实时数据处理框架，特别适用于复杂的数据处理场景。RocksDBStateBackend：一个基于 RocksDB 的本地状态后端，适用于大规模状态管理，支持增量检查点。通过深入理解和合理应用 Flink 的这些高级特性，可以大大提升应用程序的性能和灵活性，更好地满足复杂的业务需求。Flink 提供了一个专门的 CEP 库，用于在数据流中定义和检测复杂事件模式。对于需要实时查询状态的应用，可以使用 Flink 的可查询状态特性。
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用009-Slot和Parallelism的深入分析004
云星数据-http://www.cloud-star.com.cn
11-19 7231
五、slot和parallelism1.slot是指taskmanager的并发执行能力taskmanager.numberOfTaskSlots:3 每一个taskmanager中的分配3个TaskSlot,3个taskmanager一共有9个TaskSlot2.parallelism是指taskmanager实际使用的并发能力parallelism.default:1 运行程序默认的并行度为1
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用007-Slot和Parallelism的深入分析002
云星数据-http://www.cloud-star.com.cn
11-18 7335
三、并行度（parallelism）和任务链（Task Chains）1.并行度1.flink架构是分布式的，也就决定了程序（Progrram）和数据流（Dataflows）也是分别式的。 2.Dataflow也是一个分布式概念，它的Stream被查分成Stream-Partition,Operator被查分成subtask. Stream-Partition本质就是data-partition
flink--8 fink的一些高级特性 Boradcast Accumulators Distributed Cache
m0_37139189的博客
06-20 231
l把元素广播给所有的分区，数据会被重复处理 •类似于storm中的allGrouping •dataStream.broadcast() l广播变量允许编程人员在每台机器上保持1个只读的缓存变量，而不是传送变量的副本给tasks l广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点。另外需要记住，不应该修改广播变量，这样才能确保每个节点获取到的值都是一致...
《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍
http://www.54tianzhisheng.cn/
03-03 1928
转载请务必注明原创地址为：http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/ , 未经允许禁止转载。 前言 之所以写这个是因为前段时间自己的项目出现过这样的一个问题： Caused by: akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka:/...
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用011-Slot和Parallelism的深入分析006
云星数据-http://www.cloud-star.com.cn
11-19 4841
七、在webUI上分析parallelism1.集群情况3个taskManager,每个taskmanager有4个slot,共12slot,完全被占用，0个Available。2.job使用parallelism情况Reduce操作和DataSink操作都是12个parallelism，正好占完所有的slot.3.查看具体的操作执行情况不难看出，每个机器上有4个subtask在执行，实际上就是th
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础0013--flink分布式部署008
云星数据-http://www.cloud-star.com.cn
11-14 1115
FlinkOnYarn模式下集群最简部署实战一、配置yarn1.编辑yarn-site.xml1.编辑命令 vim ${HADOOP_HOME}/etc/hadoop/yarn-site.xml2.配置内容 <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>4</value> </propert
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用002-Flink的内存管理002
云星数据-http://www.cloud-star.com.cn
11-18 7364
二、flink的内存管理机制0.flink的内存划分1.flink在JVM的heap内有自己的内存管理空间。 2.在flink中内存被分为三个部分，分别是Unmanaged区域，Managed区域，Network-Buffer区域 3.Unmanaged区域是指flink不管理这部分区域，它的管理由JVM管理，用于存放User Code 4.Managed区域是指flink管理这部分区域，它不受jv
从0到1Flink的成长之路(十七)-高级特性(Flink四大基石)
熊老二的博客
06-13 846
Flink 高级特性（一） 1. Flink 四大基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Checkpoint Flink最重要的一个特性，Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快 照，从而提供了一致性的语义。 Chandy-Lamport算法实际上在1985年的时候已经被提出来，但并没有被很广泛的应用， 而Flink则把这个算法发扬光大了。 checkpoint State 提供了一致性的语
25-Flink-高级特性-新特性-Flie Sink
Eistert
07-01 184
Flink-高级特性-新特性-Flie Sink package cn.itcast.feature; import org.apache.commons.lang3.SystemUtils; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.fu
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用015-Flink中广播变量和分布式缓存001
云星数据-http://www.cloud-star.com.cn
11-19 7817
1.flink中的广播变量flink支持将变量广播到worker上，以供程序运算使用。执行程序package code.book.batch.sinksource.scala import java.util import org.apache.flink.api.common.functions.RichMapFunction import org.apache.flink.api.scala.{
从0到1Flink的成长之路(二十)-Flink 高级特性（二）之Flink 状态管理
熊老二的博客
06-22 102
Flink 状态管理 state 1 Flink 有状态计算 注意：Flink中已经对需要进行有状态计算的API，做了封装，底层已经维护好了状态！例如，之前下面代码，直接使用即可，不需要像SparkStreaming那样还得自己写updateStateByKey。 学习的State只需要掌握原理，实际开发中一般都是使用Flink底层维护好的状态或第三方维护好的状态（如Flink整合Kafka的offset维护底层就是使用的State，已经实现好的）。 package xx.xxxxx.flink.star
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用001-Flink的内存管理001
云星数据-http://www.cloud-star.com.cn
11-18 7186
一、基于JVM的大数据生态圈1.bigdata on jvm1.现在大多数开源大数据处理框架都是基于jvm的，像 Apache Hadoop,Apache Spark,Apache Hbase, Apache Kafka,Apache Flink等。 2.JVM上的程序一方面享受着它带来的好处，也要承受着JVM带来的弊端。2.jvm的弊端1.JVM的OOM问题 利用JVM平台开发的程序都会受到O
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用003-Flink的内存管理003
云星数据-http://www.cloud-star.com.cn
11-18 7077
三、测试flink内存管理的表现国外有人做了一个测试，比较flink,kryo,java三种序列化方式的表现。 详情见：http://flink.apache.org/news/2015/05/11/Juggling-with-Bits-and-Bytes.html处理效率对比GC和内存使用率对比不难看出，flink的内存管理机制，在整个测试中所表现优势还是非常明显的！
从0到1Flink的成长之路(二十)-Flink 高级特性（二）之State 状态后端
熊老二的博客
06-29 229
State 状态后端 注意：前面学习Checkpoint其实就是Flink中某一时刻，所有的Operator的全局快照，那么快照应该要有一个地方进行存储，而这个存储的地方叫做状态后端（StateBackend）。 Flink中的State状态后端有很多种： state_backends 1）、MemStateBackend 内存存储，即MemoryStateBackend，构造方法是设置最大的StateSize，选择是否做异步快照。 对于State存储在 TaskManager 节点也就是执行节点内存中
2021年最新最全Flink系列教程__Flink高级特性和新特性(八)
Maynor的博客
06-24 561
day08_Flink高级特性和新特性 今日目标 BroadcastState状态管理 Flink DataStream 双流 Join Streaming File sink 落地 File Sink 落地 FlinkSQL 整合 Hive BroadcastState 状态管理 broadcast state 广播变量状态 应用场景 关联更新的规则，获取指定的数据（给ip得到经度纬度）=> 地图 API 获取到 省市区街道位置 需求 实时Flink DataStream 过滤出配
从0到1Flink的成长之路(二十)-Flink 高级特性（二）之Savepoint
熊老二的博客
07-03 183
Savepoint 保存点由用户手动创建、拥有和删除，它们的用例用于有计划的、手动的备份和恢复。 savepoints Savepoint 介绍 Savepoint：保存点，类似于以前玩游戏的时候，遇到难关/遇到boss，赶紧手动存个档，然后接着玩，如果失败了，赶紧从上次的存档中恢复，然后接着玩。 在实际开发中，可能会遇到这样的情况：如要对集群进行停机维护/扩容… 那么这时候需要执行一次Savepoint，也就是执行一次手动的Checkpoint，也就是手动的发一个barrier栅栏，那么这样的话，程序的
21-Flink-高级特性-新特性-双流Join
Eistert
07-01 146
Flink-高级特性-新特性-双流Join join的分类 API https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/stream/operators/joining.html 代码演示-WindowJoin package cn.itcast.feature; import com.alibaba.fastjson.JSON; import lombok.Data; import org.apache.f
flink重温笔记（十二）： flink 高级特性和新特性（1）——End-to-End Exactly-Once（端到端精确一致性语义）
最新发布
m0_60732994的博客
03-08 1562
顺序：At most once（最多一次）< At least once（至少一次）< Exactly once（精确一次）< End to End Exactly once（端到端一次）最简单的恢复方式，直接从失败的下个数据恢复程序，丢失刚刚失败的数据。由于事件是可以重传的，可能造成数据重复。依赖 checkpoint 机制，回滚恢复数据，保持所有记录仅影响内部状态一次，即不考虑部分数据泄露到下游。Flink 应用从 Source 端开始到 Sink 端结束，保持所有记录影响内部和外部状态一次，即考虑部
金蝶云星空V7.2：智慧工厂云与MES系统升级
此版本着重提升了非库存单据与库存单据批号追溯的灵活性，增加了用户组织权限过滤的质量追溯查询，旨在提供更精确的数据支持和更高效的业务处理。 智慧工厂云是金蝶云星空中的一个重要模块，它构建了一个轻量级的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值