Flink高级学习记录（一）资源调优

最新推荐文章于 2024-08-24 10:02:23 发布
最新推荐文章于 2024-08-24 10:02:23 发布
阅读量422 收藏 2
点赞数 7
分类专栏： Flink高级学习记录 文章标签： flink 学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuliangwan_jiangyan/article/details/137813282
版权
本文详细探讨了在并行计算中如何合理配置内存，涉及JVM元空间、执行开销、Flink内存分配以及网络和管理内存，以确保在192M至1G的范围内保持性能。同时强调了Task堆内外内存的划分和WebUI配置的重要性。
摘要由CSDN通过智能技术生成

并行度

任务槽Slot

内存隔离，CPU不隔离

TM的内存

模型

计算

process内存给4G，计算其他内存

1）JVM元空间 = 256M

2）JVM执行开销 = 4G * 0.1 = 410M，在192M~1G区间，ok

3）Flink内存 = 4G - 256M - 410M = 3430M

4）框架内存：堆内 = 堆外 = 128M

5）网络缓冲：3430M * 0.1 = 343M，在64M~1G区间，ok

6）管理内存：3430M * 0.4 = 1372M

7）Task堆外 = 0

8）Task堆内 = 3430M - 128M - 128M - 343M - 1372M = 1459M

webUI

配置

总结

合理利用CPU

总结

举例

flink 内存配置（四）：内存调优和问题处理
chanyue123的博客
11-05 1353
本节解释如何根据用例设置内存，以及每种用例中哪些选项是重要的。
Flink------优化
h1231233211的博客
09-01 1170
1、Flink 内存优化 1.1Flink 的内存管理 开源的大数据框架基本上大多数都是基于 JVM 运行的，如 Hadoop、Spark、 Storm，但是基于 JVM 的内存管理机制往往存在着类似于内存溢出等问题，主要 是因为创建的对象过多而超过 JVM 的最大堆内存限制，却没有被有效的回收掉， 仅仅靠 JVM 所提供的各种垃圾回收机制很难解决内存溢出等问题。尤其是几十 甚至上百 G 的内存应用时会生成大量对象，Java GC 可能会被反复触发，其中 Full GC 或 Major GC 的开销是非常大
【Flink】Flink内存调优
最新发布
HHoao的博客
08-24 1909
基于 JVM 内存存在一些问题，并且在大数据场景下，无法在内存中存储海量数据，计算效率无法提高。Flink 社区采用自主内存管理设计，设计了两种内存模型 JobManager 内存模型和 TaskManager 内存模型。
Flink 性能优化总结（内存配置篇）
pp1981002445的博客
03-11 2100
flink 性能优化 内存配置
Flink内存调优篇-广告实时统计的优化
一亿年开发经验
08-25 1612
布隆过滤器本质上是一个二进制向量(位数组)和一系列随机映射函数(哈希函数)，用于判断数据一定不存在，或者可能存在。使用布隆过滤器去重，首先准备长度为M的位数组和K个哈希函数，对于到来的数据进行K次哈希，并将位数组中hash值对应的位置修改为1。举例说明，现有4条所需处理数据(ZFB,WX,DY,ZFB)，准备以下位数组以及2个哈希函数位数组第一条数据ZFB到来，经过两次哈希，分别将位数组哈希对应位置由0修改为1第二条数据WX到来，经过两次哈希，分别将位数组哈希对应位置由0修改为1。
【Flink精讲】Flink性能调优：内存调优
话数Science
02-25 1212
【Flink精讲】Flink性能调优：内存调优 JVM metaspace： JVM 元空间taskmanager.memory.jvm-metaspace.size，默认 256mb2） JVM over-head 执行开销： JVM 执行时自身所需要的内容，包括线程堆栈、 IO、编译缓存等所使用的内存。总进程内存*fraction，如果小于配置的 min（或大于配置的 max） 大小，则使用 min/max大小。
大数据工程师 Flink技术与实战 源码笔记下载
10-15
标题和描述中提到的“大数据工程师 Flink技术与实战 源码笔记下载”表明这是一份关于大数据处理框架Apache Flink的实战教程，可能包含了源代码解析、实战案例以及学习笔记等内容。对于Flink技术的学习者而言，这样的...
Apache Flink 优化策略及性能调优技巧
# 一、介绍 ## 1.1 Apache Flink 简介 Apache Flink是一个开源的流处理引擎，它提供了高效的、准确的、可维护的...优化和性能调优可以有效地提升计算效率、减少资源消耗、提高整体系统的稳定性。 ## 1.3 本文档的结
Flink大数据高级教程：一线大厂实战解析与案例分享
"该资源是一线大厂级的Flink大数据高级编程与案例实操课程，包括Flink运行架构的实战内容。课程资料包括Java和Scala两种语言版本的笔记，Flink Java和Scala代码示例，以及相关的大数据工具和数据文件。提供了Flink ...
[Flink]一、Flink1.13
weixin_44428807的博客
07-01 1238
1. Flink简介1.1 Flink的起源和设计理念flink项目的核心目标：数据流上的有状态计算（Stateful Computations over Data Streams)。时间驱动：来一个事件处理一个事件；流处理的流水线；流&批数据分析具体定位是：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.2 Flink的应用。
Flink Java版学习笔记：入门到精通详解
资源摘要信息: "本读书笔记内容聚焦于Apache Flink Java API的深入学习与应用，旨在指导读者从基础知识入门，逐步掌握到精通Flink技术的高级应用。Flink作为一个开源的流处理框架，支持高吞吐、低延迟的数据处理和大...
记一次生产环境Flink内存调优（调整）的过程
06-28 950
这里只是针对我的flink作业，做的内存调整优化，因为我的flink作业对于托管内存使用并不大，所以我可以这样设定，各位的flink作业未必。想说的就是，各位根据自己的flink作业去灵活的调整各个部分使用的内存大小，要对照各自的flink作业和业务了解这个内存是干什么用的，根据数据量预估大概使用多少量，必要时要进行压测。在设定的过程中，整体上一定要遵守flink的内存计算规则和约束，这些在官网的介绍中都有。最后，祝各位flink作业不挂，并且在调优的道路上越走越远。。。
Flink性能调优
xiaoyixiao_的博客
02-14 6203
目录资源配置调优Task Manager内存模型分配CPU资源并行度设置状态及CheckPoint调优RocksDB大状态调优CheckPoint设置反压处理数据倾斜处理Job优化FlinkSQL调优常见故障排除 资源配置调优 资源配置概述 Flink性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。提交方式主要是yarn-per-job，资源的分配在使用脚本提交Flink任务时进行指定 官
Flink｜《Flink 官方文档 - 部署 - 内存配置 - 调优指南 & 常见问题》学习笔记
长行
01-18 1143
因此，托管内存对应用性能有直接影响，Flink 会在不超过其配额限制的前提下，尽可能多地分配托管内存。如果 Flink 容器尝试分配超过其申请大小的内存（Yarn 或 Kubernetes），则通常说明 Flink 没有预留出足够的本地内存。解决方法：可以通过增大总内存、TaskManager 的任务堆内存、JobManager 的 JVM 堆内存等方法来增大 JVM 堆空间。报错原因：JVM 的直接内存限制过小，或者存在直接内存泄漏（Direct Memory Leak）报错原因：JVM 的堆空间过小。
Flink实时计算资源如何优化
科学的N次方
06-18 1716
并发优化：Flink任务需要多个线程或进程来并发执行计算操作。因此，我们需要尽可能地提高并发度以提高任务的性能和效率。CPU优化：Flink任务需要大量的CPU资源来执行计算操作。因此，我们需要尽可能地减少CPU的使用量。内存优化：Flink任务需要大量的内存来存储数据和状态信息。因此，我们需要尽可能地减少内存的使用量。flink实时计算任务可以从以下四个方面进行优化。
flink 调优指南
sanhongbo的博客
04-17 3520
本文主要介绍一些flink内存模型、参数配置、性能监控相关知识，直接先上一个思维导图。 Flink 性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 资源配置调优 内存模型详解 JVM 特定内存 JVM 本身使用的内存，包含 JVM 的 metaspace 和 over-head 1）JVM metaspace：JVM 元空间 taskmanager.memory.jvm-metaspac
Flink调优详解：案例解析（第42天）
syhiiu的博客
07-21 7649
本文主要详解常见的Flink优化策略。
Flink 作业如何提升资源利用率？- Reactive 模式 ( 下 )
weixin_39856351的博客
02-19 1311
本篇文章是接着上一篇文章讲的，推荐看完上一篇文章《Flink 弹性伸缩 - Reactive 模式 ( 上 )》再来阅读本篇文章。 四、AdaptiveScheduler 运行原理 1、Reactive 模式调度器所涉及到的类型 2、 AdaptiveScheduler 调度器本身是一个状态机 3、AdaptiveScheduler 各个执行状态都在转换 (WaitingForResources -> CreatingExecutionGraph) org.apache.flink.runtime.s
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值