Apache Flink 1.10 TaskManager 内存管理优化

已于 2022-05-12 10:20:02 修改
阅读量635 收藏
点赞数
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化 文章标签： apache flink java
于 2020-05-16 11:50:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/106168740
版权
Apache Flink 1.10 对 TaskManager 内存模型进行了重大优化，提供了更严格的内存控制。本文介绍了 Flink 1.10 中的内存模型，详细阐述了如何配置 TaskManager 内存，以及在不同部署环境下的最佳实践，帮助用户更好地管理和调试 Flink 应用程序。
摘要由CSDN通过智能技术生成

点击上方“zhisheng”，选择“设为星标”

后台回复"666"，获取最新资料

Apache Flink 1.10 对 TaskManager 的内存模型和 Flink 应用程序的配置选项进行了重大变更。这些最近引入的更改做到了对内存消耗提供了严格的控制，使得 Flink 在各种部署环境（例如 Kubernetes，Yarn，Mesos）更具有适应能力，

在本文中，我们将介绍 Flink 1.10 中的内存模型、如何设置和管理 Flink 应用程序的内存消耗以及社区在最新的 Apache Flink Release 版本中的变化。

Flink 内存模型的介绍

对 Apache Flink 的内存模型有清晰的了解，可以使您更有效地管理各种情况下的资源使用情况。下图描述了 Flink 中的主要内存组件：

Flink: Total Process Memory
了解本专栏 订阅专栏 解锁全文
flink 内存配置（一）：设置Flink进程内存
chanyue123的博客
11-04 1251
Apache Flink通过严格控制各个组件的内存使用，在JVM之上提供了高效的工作负载。虽然Flink社区努力为所有配置提供合理的默认值，但由于用户部署在Flink上的应用范围很广，这并不总是可行的。为了给用户提供最大的生产价值，Flink支持对集群内的内存分配进行高层和细粒度的调优。下面进一步描述的内存配置适用于1.10版本之后的TaskManager进程和1.11版本之后的JobManager进程。
Flink 1.14.0 内存优化你不懂？跟着土哥走就对了（万字长文+参数调优）
逆流而上Mr李
10-09 3627
关注微信公众号：3分钟秒懂大数据 跟着土哥走，教你秒懂大数据 前言 大家好，我是土哥。 自从写 Flink 系列文章，收到了太多读者的私信，希望我不断更新完善 Flink 专栏，为此，土哥还专门创建了一个文档，用来记录粉丝和读者在使用 Flink 组件时遇到的典型问题。 由于 Flink 在大数据流计算中占据非常重要的位置，毫不夸张的说，已经被所有一二线互联网大厂所使用，并且 Flink 组件在 Apache 社区持续占据热...
Flink1.10新特性解读-内存管理
ludongguoa的博客
11-01 413
新的Task Executor内存模型 FLIP49为Task Executor引入了一种新的内存模型。引入了新的配置选项来控制Task Executor的内存消耗。将影响所有类型的部署:standalone,YARN,Mesos和Kubernetes。job manager的内存模型尚未更改，但也计划进行更新。 如果尝试在不做任何调整的情况下重用以前的Flink配置，新的内存模型可能会导致JVM的计算内存参数不同，从而导致性能变化。 FLIP-49 Task Executor统一内存配置 该方..
Apache Flink的内存管理
最新发布
qq_38646559的博客
12-04 1017
Flink 作为一个基于内存的分布式计算引擎，其内存管理模块很大程度上决定了系统的效率和稳定性，尤其对于实时流式计算，JVM GC 带来的微小延迟也有可能被业务感知到。针对这个问题，Flink 实现了一套较为优雅的内存管理机制，可以在引入小量访问成本的情况下提高内存的使用效率并显著降低 GC 成本和 OOM 风险，令用户可以通过少量的简单配置即可建立一个健壮的数据处理系统。
聊聊flink TaskManager的managed memory
weixin_33950035的博客
02-20 3477
序 本文主要研究一下flink TaskManager的managed memory TaskManagerOptions flink-core-1.7.2-sources.jar!/org/apache/flink/configuration/TaskManagerOptions.java @PublicEvolving public ...
Flink1.10内存模型
u013887254的专栏
04-17 486
Flink1.10的内存管理发生部分变化，笔者基于官方文档对主要变更做了分析，将Flink1.10中内存设置等总结出本文。 Flink1.10内存模型 如上图，最外层是Flink进程内存，即Flink相关进程的JVM内存，通常容器部署设置这个参数即可。内层的 Total Flink Memory是去除部分JVM元数据区等内存后的部分，通常独立集群设置这个参数即可。其次，Flink总内存分为堆上内...
Flink Yarn TaskManager|JobManager日志采集方案
麦田里的守望者-蒋中洲【相信相信的力量】
11-08 3435
背景 Flink on Yarn 的模式下,TaskManager的日志会存储到所在的 DataNode 上,当 Flink 任务发生异常，产生异常日志时，需要第一时间感知任务已经出现异常，避免影响业务。因此需要将Flink任务的日志实时收集起来，任务出现异常日志立刻报警，做的真正意义上的实时报警，，而不是等Flink任务掉线了再发出报警。收集任务日志的好处除了任务掉线方便我们通过日志定位问题，还可以支持日志实时报警，搜索，展示等功能的实现。 Flink-1.7.2/1.10 1、修改$FLINK_HOME
CDH6.3.2环境Flink1.10与Scala2.12适配指南
- flink-conf.yaml文件：这是一个YAML格式的配置文件，包含了诸如内存管理、并行度设置、网络配置等Flink运行时的关键参数。 5. 编译时长：编译过程耗时10个小时，这表明Flink的构建过程可能较为复杂，涉及大量的...
Flink源码阅读之基于Flink1.10的任务提交流程
weixin_41608066的博客
04-16 1771
Flink在1.10版本对整个作业提交流程有了较大改动，详情请见FLIP-73。本文基于1.10对作业提交的关键流程进行分析，不深究。 入口： 依旧是main函数最后env.execute(); public JobExecutionResult execute(String jobName) throws Exception { Preconditions.checkNotNull(jobN...
Apache Flink（从小白到熟练掌握）
MCY的博客
02-26 1979
Apache Flink 一、概述 https://flink.apache.org/ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-p1oVcYTE-1582679088382)(https://flink.apache.org/img/flink-header-logo.svg)] Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流...
Flink 1.10 细粒度资源管理解析
数据库技术
05-22 245
相信不少读者在开发 Flink 应用时或多或少会遇到在内存调优方面的问题，比如在我们生产环境中遇到最多的 TaskManager 在容器化环境下占用超出容器限制的内存而被 YARN/Mesos kill 掉[1]，再比如使用 heap-based StateBackend 情况下 State 过大导致 GC 频繁影响吞吐。这些问题对于不熟悉 Flink 内存管理的用户来说十分难以排查，而且 Flink 晦涩难懂的内存配置参数更是让用户望而却步，结果是往往将内存调大至一个比较浪费的阈值以尽量避免内存问题。
Flink(十)：TaskManager 内存简介
在前进的路上
03-26 5936
Flink TaskManager（也称为 worker）执行作业流的 task，并且缓存和交换数据流，TaskManager 负责执行用户代码。根据实际需求为 TaskManager 配置内存将有助于减少 Flink 的资源占用，增强作业运行的稳定性。
Flink运行时架构
weixin_43691132的博客
12-02 418
flink运行时架构，并行度和slot和TaskManager的关系
【Flink 核心篇】Flink 内存管理（四）：TaskManager 内存分配（实战篇）
书山有路，学海无涯。记录成长，追逐梦想
02-25 3826
在 《Flink 内存管理（一）：设置 Flink 进程内存》中我们提到，必须使用下述三种方法之一配置 Flink 的内存（本地执行除外），否则 Flink 启动将失败。这意味着必须明确配置以下选项子集之一，这些子集没有默认值。
Spark与Flink的内存管理（二）
二锅头的博客
06-28 412
Flink的内存管理 目前，大数据计算引擎主要用Java或是基于JVM的编程语言实现的，例如Apache Hadoop、Apache Spark、Apache Drill、Apache Flink等。Java语言的好处在于程序员不需要太关注底层内存资源的管理，但同样会面临一个问题，就是如何在内存中存储大量的数据（包括缓存和高效处理）。Flink使用自主的内存管理，来避免这个问题。 JVM内存管理的不足： Java对象存储密度低。Java的对象在内存中存储包含3个主要部分：对象头、实例数据、对齐填充部分。
Apache Flink 2022 新年大礼包
SmartSi
01-01 1324
1. 行业实践 伴鱼基于 Flink 构建数据集成平台的设计与实现 汽车之家基于 Apache Flink 的跨数据库实时物化视图探索 5 年迭代 5 次，抖音基于 Flink 的推荐系统演进历程 2021 年网易云音乐实时计算平台发展和挑战 Flink 在 58 同城的应用与实践 伴鱼：借助 Flink 完成机器学习特征系统的升级 Flink 在顺丰的应用实践 Apache Flink 在京东的实践与优化 SmartNews：基于 Flink 加速 Hive 日表生产的实践 Flink 在爱奇艺广告业务
流计算 Oceanus | Flink JVM 内存超限的分析方法总结
cloudbigdata的博客
01-21 3179
作者：董伟柯，腾讯 CSIG 高级工程师 问题背景 前段时间，某客户线上运行的大作业（并行度 200 左右）遇到了 TaskManager JVM 内存超限问题（实际内存用量 4.1G > 容器设定的最大阈值 4.0G），被 YARN 的 pmem-check 机制检测到并发送了 SIGTERM（kill）信号终止该 container，最终导致作业出现崩溃。这个问题近期出现了好几次，客户希望能找到解决方案，避免国庆期间线上业务受到影响。 在 Flink 配置项中，提供了很多内存参数设定。我们逐一检查
Apache Flink 1.10版实战：性能提升与重大特性概览
5. **Kubernetes集成**：Flink 1.10 Native Kubernetes的初步集成，简化了在容器化平台上的部署和管理，提高了灵活性。 6. **Python支持**：PyFlink 1.10版本得到了重大优化，开发者可以更方便地使用Python编写和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值