Apache Flink连载（二十八）：Flink细粒度资源管理（1）-适用场景和原理

最新推荐文章于 2024-10-09 20:49:05 发布
最新推荐文章于 2024-10-09 20:49:05 发布
阅读量601 收藏
点赞数
分类专栏： Apache Flink 大数据计算体系技术栈 文章标签： apache flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/136158284
版权
本文详细介绍了Apache Flink的细粒度资源管理，包括适用场景、原理及动态资源切割机制。针对不同并行度和资源需求的任务，粗粒度资源管理可能造成资源浪费，而细粒度管理通过按需申请和使用资源提高了效率。文章以一个具体的作业案例说明了细粒度管理如何避免资源浪费，并探讨了如何在实际场景中应用这一特性。
摘要由CSDN通过智能技术生成

🏡 个人主页：IT贫道-CSDN博客

 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频

目录

1. Flink细粒度资源管理介绍

​​​​​​​2. 细粒度资源适用场景

​​​​​​​3. 细粒度资源原理

​​​​​​​4. 资源分配策略-动态资源切割机制

​​​​​​​1. Flink细粒度资源管理介绍

了解本专栏 订阅专栏 解锁全文 超级会员免费看
IT贫道
关注
专栏目录
订阅专栏
Apache Flink连载（二十九）：Flink细粒度资源管理（2）-用法、测试及局限性
qq_32020645的博客
02-19 207
🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~
(增加细粒度资源管理)深入理解flink的task slot相关概念_flink taskmanager task slot(1)
2303_79055785的博客
04-16 286
注意，此功能打破了插槽之间的资源隔离。这是因为并行度最大的task对应的subtask会有16个，而且这16个subtask是不能放在同一个slot里的，所以至少需要16个slot,也就是说是由最大并行度的task来决定的，此处我们设置了一个task manager划分成两个slot，所以需要8个task manager(如果我们一开始只设置了一个taskmanger只能有一个slot，那么就至少要有16个taskmanager)相同 slot 的资源能够满足最高的资源需求，这对于其他资源需求将是浪费的。
Apache Flink细粒度资源管理原理
0102的博客
08-18 910
如上案例，Flink处理流转关系图中有两个128并发的Kafka Source和一个32并发的Redis ，上下两路数据处理路径，一条是两个Kafka Source经过Join以后在经过一些AGG聚合操作，最后将数据Sink到16并发的Kafka中；（主要是内存），比如，Redis需要将数据缓存到内存提高性能，聚合则需要大量的managed memory存储state，对于这两本了只要申请32 和16份资源，对其后需要128份，那么多余的slot中内存资源就浪费了。对于较重的资源消耗的算子，导致。
Flink部署——细粒度资源管理
京河小蚁的博客
06-26 726
本页介绍细粒度资源管理的用法、适用场景及其工作原理。注意：此功能目前是 MVP（“最小可行产品”）功能，仅适用于 DataStream API。可能受益于细粒度资源管理的典型方案包括：在如何提高资源效率中，深入探讨了细粒度资源管理如何提高上述场景的资源效率。如 Flink 架构中所述，任务管理器中的任务执行资源被拆分为多个槽。该槽是 Flink 运行时中资源调度和资源需求的基本单位。 通过细粒度资源管理，槽请求包含用户可以指定的特定资源配置文件。Flink 将尊重用户指定的资源要求，并从 TaskManag
深入解析 Flink 细粒度资源管理
Ververica的博客
02-17 1119
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自阿里巴巴高级开发工程师郭旸泽 (天凌) 在 Flink Forward Asia 2021 核心技术专场的演讲。主...
Apache Flink多租户特性详解：资源隔离与共享策略
2402_85761468的博客
08-04 1321
多租户支持是指在一个Flink集群中，能够同时运行来自不同用户或组织的多个作业，这些作业之间相互独立，不会互相影响。
官宣｜Apache Flink 1.18 发布公告
Ververica的博客
10-27 3379
Apache Flink PMC 已正式发布 Apache Flink 1.18.0 版本。与往常一样，这是一个充实的版本，包含了广泛的改进和新功能。总共有 174 人为此版本做出了贡献，完成了 18 个 FLIPs 和 700 多个问题。感谢各位贡献者的支持！Tips：点击「阅读原文」免费领取 5000CU*小时 Flink 云资源迈向 Streaming LakehouseFlink SQL ...
Apache Flink CDC 3.1.0版本知识学习
zhengzaifeidelushang的博客
05-24 2158
相比于 Flink SQL Changelog 格式，Flink CDC 不会将数据更新事件拆分为 BEFORE 和 AFTER 两条记录，能够更高效地处理分区表场景，并支持将事件序列化为 Debezium 和 Canal JSON 格式。相比于使用 Flink SQL 和 Paimon CDC Action 的同步方案，Flink CDC Pipeline 作业支持将上游表结构变更动态应用至下游，且进一步支持了对上游表进行列投影和行过滤，提供细粒度的数据路由规则，追加计算列的逻辑配置更加简单。
Flink入门系列(1)：Apache Flink简介
一
09-20 1134
Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。
机遇与挑战：Apache Flink 资源管理机制解读与展望.pdf
03-21
例如，如何实现更细粒度的资源分配，以提高资源利用率和降低空闲率是一个关键问题。另一个挑战是资源的预热，即在启动新任务时避免因资源分配延迟而造成的冷启动开销。此外，随着 Kubernetes 在大数据领域的普及，...
5.徐帅宋辛童-细粒度资源管理及调度1_compressed1
08-03
总结来说，徐帅和宋辛童在“细粒度资源管理及调度1”中讨论了Apache Flink中流处理和批处理的资源管理和任务调度问题。他们提出了一种统一的内存配置方案，解决了不同作业类型对内存需求的差异，同时探讨了如何优化...
大数据-159 Apache Kylin 构建Cube 准备和测试数据
永远好奇，无限进步！
10-09 945
Apache Kylin 是一个开源的分布式分析引擎，专注于提供大数据的实时OLAP（在线分析处理）能力。Cube（立方体）是 Apache Kylin 的核心概念之一，通过预计算大规模数据的多维数据集合，加速复杂的 SQL 查询。
Apache DolphinScheduler社区9月进展记录
Apache DolphinScheduler开源社区
10-09 255
各位热爱 Apache DolphinScheduler 的小伙伴们，社区 9 月月报更新啦！这里将记录 Apache DolphinScheduler 社区每月的重要更新，欢迎关注！
PHP中的HTTP请求：Apache客户端的高效应用
2401_87195067的博客
10-09 507
Apache HttpClient是Apache软件基金会提供的一个库，它支持HTTP协议的多个版本，包括HTTP/1.1和HTTP/2。它提供了丰富的功能，如连接管理、HTTP状态管理、自动重定向等。
Apache Ranger 70道面试题及参考答案
大模型大数据攻城狮的专栏
10-07 1063
如果策略规定某个用户不能对特定的 Hive 表进行读取操作，当该用户尝试访问这个表时，Hive 服务节点上的 Agent Plugin 会阻止这个请求，从而确保数据的安全性。在这种情况下，可以创建一个子策略，继承父策略的基础权限设置，然后在子策略中添加特定于项目的限制，比如只允许特定用户组对某些特定的 Hive 表进行写入操作。例如，如果一个用户被授予了对某个 Hive 表的读取权限，当该用户尝试读取这个表时，能够成功获取数据，而没有出现权限被拒绝的错误，那么可以初步判断该策略对这个用户的读取权限生效。
九APACHE
最新发布
gsdgdg00的博客
10-09 594
所说的静态文件指的是图片、js、css等文件，用户访问一个站点，其实大多数元素都是图片、js、css等，这些静态文件其实是会被客户端的浏览器缓存到本地电脑上的，目的就是为了下次再请求时不再去服务器上下载，这样就加快了速度，提高了用户体验。- **Worker多进程的多线程模式（常用）**：采用多进程和多线程混合模式，适合高并发（并发是指用户同时访问服务器的用户量）场景，在多进程中通过管理线程预先创建空闲线程来提高响应速度和效率，但需关注线程安全问题，适用于处理动态资源，但在处理静态资源方面相对较弱。
Apache Flink编译用时日志
十一城
10-09 253
环境：MacBook Pro (13-inch, M1, 2020) 16G。
大数据-160 Apache Kylin 构建Cube 按照日期构建Cube 详细记录
永远好奇，无限进步！
10-09 1180
Apache Kylin 是一个开源的分布式分析引擎，专注于提供大数据的实时OLAP（在线分析处理）能力。Cube（立方体）是 Apache Kylin 的核心概念之一，通过预计算大规模数据的多维数据集合，加速复杂的 SQL 查询。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值