Flink生产过程中RocksDB状态调优

最新推荐文章于 2024-01-29 21:31:29 发布
最新推荐文章于 2024-01-29 21:31:29 发布
阅读量1.1k 收藏
点赞数
分类专栏： 大数据 Flink内核源码解读 公开专栏 文章标签： flink 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/123147944
版权
本文探讨了在Flink生产环境中如何对使用RocksDB的状态进行调优，以提高大数据处理效率和稳定性。
摘要由CSDN通过智能技术生成

请购买专栏的读者，申请时，附加CSDN的昵称，否则一律不予通过，谢谢理解。

大纲如下：

 跳转地址：
https://docs.qq.com/doc/DRkp2aWR2WFF6b3hI

Better~Me
关注
专栏目录
订阅专栏
【Flink】Flink on RocksDB 参数调优指南
九师兄
06-14 6152
1. 背景 对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决 [2]. 基于我们长期的状态调优经验，通过合理的资源分配，RocksDB 方案可以稳定支持上百 GB 甚至上 TB 的总状态量；但是众所周知的是，RocksDB 的可调参数非常繁琐，有上百个之多，且彼此之间还相互影响，非常难以调整。更致命的是，默认参数和配置不当的参数，读写性能会比.
flink实战--大状态任务调优指南-DataStream作业
最新发布
阿华田的博客
06-03 199
在 Flink 中，状态管理是流处理应用的核心概念之一，它允许算子（operators）在处理事件时保持和操作状态信息。在 Flink 中，状态可以被视为算子的“记忆”，它使得算子能够在处理无界流数据时保持对历史数据的跟踪。状态可以是简单的键值对，也可以是更复杂的数据结构，如列表、集合或自定义对象。状态的更新和查询对于实现复杂的流处理逻辑至关重要。具体说来，首先，Checkpoint 是 Flink 的一种容错机制。
Flink on RocksDB 参数调优指南
qq_38363255的博客
01-29 995
1. 背景 对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决 [2]. 基于我们长期的状态调优经验，通过合理的资源分配，RocksDB 方案可以稳定支持上百 GB 甚至上 TB 的总状态量；但是众所周知的是，RocksDB 的可调参数非常繁琐，有上百个之多，且彼此之间还相互影响，非常难以调整。更致命的是，默认参数和配置不当的参数，读写...
Flink 状态后端和RocksDB调优
qq_24186017的博客
10-05 2251
1什么是状态后端？ 2状态后端分类？ 3 RocksDB大状态调优
Flink问题解决及性能调优-【Flink rocksDB读写state大对象导致背压问题调优】
weixin_38251332的博客
01-29 1531
RocksDB是Flink中用于持久化状态的默认后端，它提供了高性能和可靠的状态存储。然而，当处理大型状态并频繁读写时，可能会导致背压问题，因为RocksDB需要从磁盘读取和写入数据，而这可能成为瓶颈。
Flink大状态的优化
勇心在馨
03-03 3635
Flink 支持多种 StateBackend，当状态比较大时目前只有 RocksDBStateBackend 可供选择。RocksDB 是基于 LSM 树原理实现的 KV 数据库，LSM 树读放大问题比较严重，因此对磁盘性能要求比较高，强烈建议生产环境使用 SSD 做为 RocksDB 的存储介质。但是有些集群可能并没有配置 SSD，仅仅是普通的机械硬盘，当 Flink 任务比较大，且对状态访问...
flink调优之RocksDB设置.doc
07-10
RocksDB 是 Flink 中的一个状态后端，它基于 LSM Tree 实现，写数据都是先缓存到内存中，然后才写入磁盘中。RocksDB 使用内存结合磁盘的方式来存储数据，每次获取数据时，先从内存中 blockcache 中查找，如果内存中...
从一个案例研究 磁盘对Flink中RocksDB状态后端的影响
yscoder的博客
05-20 778
RocksDB是Flink中的一个状态后端，它允许作业的状态大于可用内存量，因为状态后端可以将状态溢出到本地磁盘。这意味着磁盘性能可能会影响使用RocksDB的Flink作业的性能。通过一个案例研究，本文说明了使用RocksDB的Flink作业的吞吐量下降问题，并演示了我们如何将底层磁盘的性能确定为根本原因。 作业和执行环境 我们处理的是一个典型的物联网（IoT）工作，它处理数百万台设备发出的事件流。每个事件都包含设备标识符（ID）、事件类型和生成事件时的时间戳。作业基于设备ID对流进行分区，并以状态存
flink调优经验总结
03-31 1724
已迁移。
[Flink项目优化] 资源配置调优
959
01-28 1971
[Flink项目优化] 资源配置调优
性能测试调优_DB调优分析
星火baba
11-07 1718
和前面提到的SQL_TRACE不同，当我们遇到了数据库性能整体下降的时候，又没有特定的对象可以分析时，做一个Statspack报告是合适的。通过全面的检查，我们可以分析出系统瓶颈在哪儿，如果瓶颈出在sql上面，我们就能获取相应的sql，通过SQL_TRACE来分析。 oracle Statspack从Oracle8.1.6被引入，马上成为DBA和Oracle专家用来诊断数据库性能的强有力工具。通
说一下Flink的状态机制
mischen520的博客
06-21 548
Flink在做计算的过程中经常需要存储中间状态，来避免数据丢失和状态恢复。选择的状态存储策略不同，会影响状态持久化如何和 checkpoint 交互。 Flink提供了三种状态存储方式：MemoryStateBackend、FsStateBackend、RocksDBStateBackend。 ...
Flink 大状态存储 & 状态TTL
窦小雨的小点子
12-08 3984
什么是Flink大状态存储？ 举个栗子。现有用户访问流数据，需统计每个用户PV，用户量级为3亿。如何计算？ 假定每个用户ID为50字节。那么3亿用户ID的存储需要：50 b * 3 亿 ≈ 13 G ，那么可以直接存在job内存中，如果担心job重启，内存数据丢失，可以放在redis中，或者Aerospike（一种用磁盘的kv存储）。 那如果状态再大一些呢？再举个栗子：某广告场景下，点击数据需要根据请求ID 到请求日志中取相关维度信息。假设请求发生后，24小时之内，都有可能发生点击，那么就需要将请求.
Flink 从1.7 到1.12版本升级汇总
张伯毅的专栏
02-18 3553
-------------------------一 .前言二 .Flink 1.7 版本2.1. Flink中的Scala 2.12支持2.2. 状态变化2.3. Exactly-once语义的S3 StreamingFileSink2.4. Streaming SQL中支持MATCH_RECOGNIZE2.5. Streaming SQL中的 Temporal Tables 和 Temporal Joins2.6. 版本化REST API2.7. Kafka 2.0 Connector2.8.
【Flink 使用注意】Flink checkpoint清除策略使用指南
ChengYanan的博客
01-14 4406
文章目录Flink Checkpoint 目录的清除策略应用代码Flink源码需要注意 Flink Checkpoint 目录的清除策略 应用代码 CheckpointConfig checkPointConfig = streamEnv.getCheckpointConfig(); checkPointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); checkPointConfig.setCheckpointTimeout(1 *
Flink如何清除过期的CheckPoint
淡定一生2333的博客
07-15 6896
生产环境中，Flink Job运行过程中会定期执行CheckPoint，将内部状态持久化到外部的存储系统中，一般会选择使用HDFS。多种外部存储系统之间的差异详见之前写的那篇文章《Flink的状态后端(State Backends)》。随着程序不停的执行， CheckPoint文件会越来越多，如何清理过期的文件就是一个很大的问题。 一般建议大家选用RocksDB作为StateBackend。RocksDB使用的LSM树，会将状态存储到磁盘sst文件(类似HBase中的HFile)中，避免S...
Flink性能调优
xiaoyixiao_的博客
02-14 6125
目录资源配置调优Task Manager内存模型分配CPU资源并行度设置状态及CheckPoint调优RocksDB大状态调优CheckPoint设置反压处理数据倾斜处理Job优化FlinkSQL调优常见故障排除 资源配置调优 资源配置概述 Flink性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。提交方式主要是yarn-per-job，资源的分配在使用脚本提交Flink任务时进行指定 官
Flink调优指南
VgfCbzgNIP32
07-08 4074
此章节主要介绍了 Flink的调优方式：1.资源配置调优 2.反压处理 3.数据倾斜 4.kafkasource调优 5.FlinkSQL调优几个部分。
Flink 1.8.0中的状态生存时间特性：如何自动清理应用程序的状态
chikuai9995的博客
07-25 706
对于许多状态流式计算程序来说，一个常见的需求是自动清理应用程序的状态（state），以便有效地控制状态大小，或者控制程序访问状态的有效时间（例如受限于诸如GDPR等法律条规）。Apache Flink自1.6.0版本引入了状态的生存时间（time-to-live，TTL）功能，使得应用程序的状...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值