flink任务性能优化

最新推荐文章于 2024-11-01 10:39:50 发布
最新推荐文章于 2024-11-01 10:39:50 发布
阅读量1.2k 收藏
点赞数
文章标签： flink 性能优化 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35642849/article/details/132068627
版权
本文讨论了在服务器资源有限时，RocksDBStateBackend可能导致性能下降，因频繁刷内存引发高IO和CPU。建议增大内存配置或在小型项目中考虑其他状态后端。
摘要由CSDN通过智能技术生成

1、使用异步算子，异步执行操作

2、将下游数据需要的数据以参数的形式向下传递

3、当服务器资源有限的情况下，慎用RocksDBStateBackend

RocksDBStateBackend performance will be poor because of the current Flink memory configuration! RocksDB will flush memtable constantly, causing high IO and CPU. Typically the easiest fix is to increase task manager managed memory size. If running locally, see the parameter taskmanager.memory.managed.size. Details: arenaBlockSize 8388608 > mutableLimit 3737299 (writeBufferSize = 67108864, arenaBlockSizeConfigured = 0, defaultArenaBlockSize = 8388608, writeBufferManagerCapacity = 4271199)

明确指出，当前内存有限的情况下，使用rocketDB会造成性能损害，因为rocketDB会不停刷内存，造成高io和高cpu。所以在小型化项目时，对状态数据要求不高时，可考虑不使用rocketDB作为状态后端

如果丶可以坑
关注
Flink面试整理-Flink的性能优化策略
不务正业的猿
05-08 576
Apache Flink 的性能优化是一个多方面的任务，涉及硬件资源、算法选择、配置调整等多个层面。根据作业的需求和可用资源，合理分配内存和 CPU 给 TaskManager 和 JobManager。使用高效的序列化框架（如 Kryo）可以减少数据序列化和反序列化的时间和空间开销。在多租户环境中，确保不同作业之间的资源是隔离的，避免互相影响。优化状态管理，只保留必要的状态，可以减少存储和维护状态的开销。根据应用的容错要求，合理设置检查点间隔，以平衡性能和一致性。减少与外部系统交互的频率，批量处理请求。
增强RocksDB的速度和规模
m0_65012566的博客
04-10 78
DocDB是强力支持YugabyteDB的分布式文档存储。RocksDB是一种广泛使用的快速嵌入式存储引擎，其日志结构合并树（LSM）设计和C++实现，是选择其作为DocDB的单节点存储引擎的关键因素。YugabyteDB管理的每一行(数据)都存储为DocDB中的一个文档，在内部映射到RocksDB中的多个键值对。当我们开始在DocDB中构建文档存储层时，我们意识到需要对RocksDB进行重大增强。这是因为每个RocksDB实例不再独立运行。它需要与同一节点上的其他RocksDB实例共享资源。
RocksDB的关键参数与优化方案
程序员小董的专栏
02-27 1294
默认情况下max_total_wal_size是0，系统会使用多个columnFamily的write_buffer_size* max_write_buffer_number的积相加。控制并发度： 当增大 min_write_buffer_number_to_merge 的值时，系统会允许更多的MemTable转换为Immutable MemTable而不立即进行Flush操作，这意味着可以在内存中累积更多的数据，提高并发写入性能，尤其是在高吞吐量场景下。单个memtable的最大大小，默认64MB。
flink不同状态后端和RocksDBstatebackend的配置优化
weixin_40809627的博客
07-07 2662
背景：flink提供了不同的状态后端（state backends）来区分状态的存储方式和状态位置，flink状态可以存储在java堆呢村内或者内存之外。我们可以通过状态后端的设置，flink允许应用保持大容量的应用后端。开发者可以在不改变应用逻辑的情况下设置状态后端。 注意：默认情况下flink的状态会保存在tastmanager的内存中，而checkpoint会保存在jobmanager的内存中。 flink的三种状态后端。 1、memorystatebackend 2、fsstatebackend 3
Flink性能调优步骤
最近开始研究AIGC领域技术，欢迎交流
09-17 226
kafka常用调优步骤
【Flink】如何在 Flink 中规划 RocksDB 内存容量？
九师兄
12-17 448
主要是自己学习。本文描述了一些配置选项，这些选项将帮助您有效地管理规划 Apache Flink 中 RocksDB state backend 的内存大小。在前面的文章 [1] 中，我们描述了 Flink 中支持的可选 state backend 选项，本文将介绍跟 Flink 相关的一些 RocksDB 操作，并讨论一些提高资源利用率的重要配置。
Flink原理、实战与性能优化.pdf
11-10
在详细阐述Apache Flink的原理、实战和性能优化的知识点之前，我们需要了解其核心特性。 首先，Flink支持事件时间（EventTime）语义的窗口计算。事件时间是指事件实际发生的时间，而不是到达Flink系统的时间。这...
Flink任务问题分析与性能调优
qq_30708747的博客
11-01 6975
作者： 吴培坚——虎牙实时计算平台研发工程师 Flink调优对于问题的定性很重要，只有先确定问题性质才能针对性优化。首先要明白，Flink是分布式流计算框架，可简单理解为多个相互通讯的有状态java进程，其调优本质跟普通的java程序大同小异。 1.1 问题定位的基础： 只有具备良好的的监控数据支持，才能感知问题/异常的发生并对其快速定位。 监控指标主要分为以下三个维度： 1. Flink框架： 框架本身内嵌了很多方便运维...
Flink 内容分享(一)：Fink原理、实战与性能优化(一)_flink原理、实战与性能优化(1)
2401_84166965的博客
04-27 1079
分治法在大数据处理中的应用不仅有助于提高处理效率，还可以充分利用分布式计算和存储资源，从而更好地应对大数据量和复杂性。然而，在应用分治法时需要考虑合适的数据分割策略、任务调度、结果合并等问题，以确保分治法的正确性和性能。然而，分布式计算也带来了一些挑战，如数据一致性、通信开销、任务调度等问题，需要综合考虑各种因素来设计和优化分布式系统。同时，分布式计算也需要开发者具备分布式系统设计和调优的知识和技能，以确保系统的性能和稳定性。
（一）一文掌握flink性能优化：资源配置调优
要记得输出！
03-25 3975
系列文章目录 第一章 资源配置调优 第二章 状态及Checkpoint 调优 第三章 反压处理 第四章 数据倾斜 第五章 job优化 第六章 flinksql调优 第七章 常见故障排查 本文目录前言一、内存设置1.TaskManager 内存模型及解释2.案例分析总结 前言 Flink性能调优的第一步，就是为任务分配 合适 的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 一、内存设置 1.TaskManager 内存模型
Flink的RocksDBStateBackend一些使用经验
热门推荐
wangshuo2019的博客
07-10 1万+
Flink的RocksDBStateBackend一些使用经验 一、idea依赖 RocksDBStateBackend是Flink中内置的第三方状态管理器，和其他两种（MemoryStateBackend和FsStateBackend）不同，使用时需添加相关依赖： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-statebacken
spark源码分析之TaskMemoryManager
lzf的博客
07-31 1753
概述 TaskMemoryManager用于管理每个task分配的内存。 在off-heap内存模式中，可以用64-bit的地址来表示内存地址。在on-heap内存模式中，通过base object的引用 和该对象中64-bit 的偏移量来表示内存地址。 当我们想要存储其它结构内部的数据结构的指针时，这是一个问题，例如记录hashmap或者sorting buffer的指针。即使我们使用12...
Flink_Flink TaskManager 内存模型 ，以及相关内存配置参数
迎难而上
05-23 9111
Flink 中 TaskManager 中模型比较复杂，本文讲解下 Flink 中的内存模型以及相关的配置 ( 基于 Flink 1.10 ) 内存分布简介 首先我们看一下 Flink 官网给出的内存示意图 ： https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/memory/mem_setup.html#set-up-task-executor-memory 一般来说我们只需要选择以下3种方...
RocksDB in Flink官方答疑：Using RocksDB State Backend in Apache Flink: When and How
微信公众号：大数据从业者
03-02 380
中文版见微信公众号：大数据从业者 18 Jan 2021 Jun Qin Stream processing applications are often stateful, “remembering” information from processed events and using it to influence further event processing. In Flink, t...
Flink1.12.4 RocksDBStateBackend优化
程序园@大Null
06-09 2792
在使用RocksDB作为state存储之后，发现性能被严重影响，吞吐能力下降了几倍不止，所以根据网上的几篇调优文档做了自己的优化，感谢下面这些博客做出的贡献： https://www.jianshu.com/p/2e61c2c83c57 https://blog.csdn.net/wangshuo2019/article/details/107250801/ https://blog.csdn.net/huang358468/article/details/115221066 https://github.
Flink - RocksDBStateBackend
u013939918的博客
06-29 1227
如果要考虑易用性和效率，使用rocksDB来替代普通内存的kv是有必要的 有了rocksdb，可以range查询，可以支持columnfamily，可以各种压缩 但是rocksdb本身是一个库，是跑在RocksDBStateBackend中的 所以taskmanager挂掉后，数据还是没了， 所以RocksDBStateBackend仍然需要类似HDFS这样的分布式存储来存储snapshot kv state需要由rockdb来管理，这是和内存或file backend最大的不同 Abs.
【Flink】Flink RocksDB内存占用一直增大 state.backend.rocksdb.memory.managed
九师兄
11-11 2885
1.概述 有人遇到过RocksDB内存占用一直增大的情况吗？flink-1.13.1 版本 为什么要关掉托管内存？ iterator读并发比较高的场景，会锁定内存中的数据。关掉托管空出多点内存空间，是比较粗暴的处理方式，但很有效。有性能方面的问题再去调整rocksdb配置 如果开启rocksdb statebackend ，并且没有打开增量就会有这个问题。 配置为 state.backend.rocksdb.memory.managed ...
MySQL · RocksDB · Memtable flush分析
weixin_34326179的博客
09-22 1336
概述 首先我们知道在RocksDB中，最终数据的持久化都是保存在SST中，而SST则是由Memtable刷新到磁盘生成的，因此这次我们就主要来分析在RocksDB中何时以及如何来Flush内存数据(memtable)到SST. 简单来说在RocksDB中，每一个ColumnFamily都有自己的Memtable,当Memtable超过固定大小之后(或...
FlinkCDC-MYSQL批量写入
最新发布
csmnjk的专栏
11-01 259
思路：通过滚动窗口收集一批数据推给sink消费。binlog日志对于dataStream是没有key的，那么需要给每条数据造一个key。两种方式：（1）通过UUID创建一个全局key。（2）解析数据中的时间字段作为key。批次写入思路：使用executeBatch方式提交，url中需添加rewriteBatchedStatements=true。（3）Mysql：5.7.43 ##开启binlog。
Flink任务调度：svpwm调制与计算资源优化
在Flink的计算资源调度中，"计算资源的调度 - SVPWM的调制及谐波分析"这一主题主要探讨了如何在Flink的分布式环境中有效...通过理解这些细节，开发者可以更好地设计和优化Flink应用程序，以适应不同的性能需求和场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值