Flink生产过程中RocksDB状态调优

最新推荐文章于 2024-09-14 16:05:08 发布
最新推荐文章于 2024-09-14 16:05:08 发布
阅读量1.1k 收藏
点赞数
分类专栏： 大数据 Flink内核源码解读 公开专栏 文章标签： flink 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/123147944
版权
本文探讨了在Flink生产环境中如何对使用RocksDB的状态进行调优，以提高大数据处理效率和稳定性。
摘要由CSDN通过智能技术生成

请购买专栏的读者，申请时，附加CSDN的昵称，否则一律不予通过，谢谢理解。

大纲如下：

 跳转地址：
https://docs.qq.com/doc/DRkp2aWR2WFF6b3hI

【Flink】Flink on RocksDB 参数调优指南
九师兄
06-14 6360
1. 背景 对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决 [2]. 基于我们长期的状态调优经验，通过合理的资源分配，RocksDB 方案可以稳定支持上百 GB 甚至上 TB 的总状态量；但是众所周知的是，RocksDB 的可调参数非常繁琐，有上百个之多，且彼此之间还相互影响，非常难以调整。更致命的是，默认参数和配置不当的参数，读写性能会比.
Flink RocksDB 状态后端参数优化实践
PmtxPhp的博客
10-11 313
本文将介绍一些常见的参数以及它们的调优实践，并提供相应的源代码示例。maxBytesForLevelBase参数控制每个层级的最大数据量，targetFileSizeBase参数控制每个文件的目标大小。增加该值可以提高后台压缩的速度，但也会增加磁盘IO的负载。通过查看统计信息，可以了解RocksDB的性能瓶颈，进而进行针对性的调优。需要注意的是，参数的调优需要根据具体场景和硬件资源进行调整，没有一种通用的最佳设置。建议在生产环境中进行综合测试和性能评估，并进行适当的参数调优。
Flink on RocksDB 参数调优指南
qq_38363255的博客
01-29 1041
1. 背景 对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决 [2]. 基于我们长期的状态调优经验，通过合理的资源分配，RocksDB 方案可以稳定支持上百 GB 甚至上 TB 的总状态量；但是众所周知的是，RocksDB 的可调参数非常繁琐，有上百个之多，且彼此之间还相互影响，非常难以调整。更致命的是，默认参数和配置不当的参数，读写...
Flink 状态后端和RocksDB调优
qq_24186017的博客
10-05 2424
1什么是状态后端？ 2状态后端分类？ 3 RocksDB大状态调优
Flink问题解决及性能调优-【Flink rocksDB读写state大对象导致背压问题调优】
weixin_38251332的博客
01-29 1632
RocksDB是Flink中用于持久化状态的默认后端，它提供了高性能和可靠的状态存储。然而，当处理大型状态并频繁读写时，可能会导致背压问题，因为RocksDB需要从磁盘读取和写入数据，而这可能成为瓶颈。
flink调优之RocksDB设置.doc
07-10
RocksDB 是 Flink 中的一个状态后端，它基于 LSM Tree 实现，写数据都是先缓存到内存中，然后才写入磁盘中。RocksDB 使用内存结合磁盘的方式来存储数据，每次获取数据时，先从内存中 blockcache 中查找，如果内存中...
flink实战--大状态任务调优指南-DataStream作业
阿华田的博客
06-03 249
在 Flink 中，状态管理是流处理应用的核心概念之一，它允许算子（operators）在处理事件时保持和操作状态信息。在 Flink 中，状态可以被视为算子的“记忆”，它使得算子能够在处理无界流数据时保持对历史数据的跟踪。状态可以是简单的键值对，也可以是更复杂的数据结构，如列表、集合或自定义对象。状态的更新和查询对于实现复杂的流处理逻辑至关重要。具体说来，首先，Checkpoint 是 Flink 的一种容错机制。
从一个案例研究 磁盘对Flink中RocksDB状态后端的影响
yscoder的博客
05-20 817
RocksDB是Flink中的一个状态后端，它允许作业的状态大于可用内存量，因为状态后端可以将状态溢出到本地磁盘。这意味着磁盘性能可能会影响使用RocksDB的Flink作业的性能。通过一个案例研究，本文说明了使用RocksDB的Flink作业的吞吐量下降问题，并演示了我们如何将底层磁盘的性能确定为根本原因。 作业和执行环境 我们处理的是一个典型的物联网（IoT）工作，它处理数百万台设备发出的事件流。每个事件都包含设备标识符（ID）、事件类型和生成事件时的时间戳。作业基于设备ID对流进行分区，并以状态存
Flink大状态的优化
勇心在馨
03-03 3674
Flink 支持多种 StateBackend，当状态比较大时目前只有 RocksDBStateBackend 可供选择。RocksDB 是基于 LSM 树原理实现的 KV 数据库，LSM 树读放大问题比较严重，因此对磁盘性能要求比较高，强烈建议生产环境使用 SSD 做为 RocksDB 的存储介质。但是有些集群可能并没有配置 SSD，仅仅是普通的机械硬盘，当 Flink 任务比较大，且对状态访问...
flink调优经验总结
03-31 1735
已迁移。
Flink性能调优步骤
最近开始研究AIGC领域技术，欢迎交流
09-17 252
kafka常用调优步骤
[Flink项目优化] 资源配置调优
959
01-28 2032
[Flink项目优化] 资源配置调优
性能测试调优_DB调优分析
星火baba
11-07 1739
和前面提到的SQL_TRACE不同，当我们遇到了数据库性能整体下降的时候，又没有特定的对象可以分析时，做一个Statspack报告是合适的。通过全面的检查，我们可以分析出系统瓶颈在哪儿，如果瓶颈出在sql上面，我们就能获取相应的sql，通过SQL_TRACE来分析。 oracle Statspack从Oracle8.1.6被引入，马上成为DBA和Oracle专家用来诊断数据库性能的强有力工具。通
说一下Flink的状态机制
mischen520的博客
06-21 558
Flink在做计算的过程中经常需要存储中间状态，来避免数据丢失和状态恢复。选择的状态存储策略不同，会影响状态持久化如何和 checkpoint 交互。 Flink提供了三种状态存储方式：MemoryStateBackend、FsStateBackend、RocksDBStateBackend。 ...
Flink-状态与容错（了解 Flink 用于编写有状态程序的 API）
最新发布
tiger_ziren的博客
09-14 777
如果你希望使用 keyed state，首先需要为DataStream指定 key（主键）。这个主键用于状态分区（也会给数据流中的记录本身分区）。你可以使用DataStream中 Java/Scala API 的或者是 Python API 的来指定 key。它将生成，接下来允许使用 keyed state 操作。Key selector 函数接收单条记录作为输入，返回这条记录的 key。该 key 可以为任何类型，但是它的计算产生方式是具备确定性的。下面的例子展示了 key selector 函数。
Flink 大状态存储 & 状态TTL
窦小雨的小点子
12-08 4615
什么是Flink大状态存储？ 举个栗子。现有用户访问流数据，需统计每个用户PV，用户量级为3亿。如何计算？ 假定每个用户ID为50字节。那么3亿用户ID的存储需要：50 b * 3 亿 ≈ 13 G ，那么可以直接存在job内存中，如果担心job重启，内存数据丢失，可以放在redis中，或者Aerospike（一种用磁盘的kv存储）。 那如果状态再大一些呢？再举个栗子：某广告场景下，点击数据需要根据请求ID 到请求日志中取相关维度信息。假设请求发生后，24小时之内，都有可能发生点击，那么就需要将请求.
Flink的RocksDB的使用以及问题
Zebrawen的博客
04-04 535
在各个节点的磁盘上的，处理数据的时候，Flink 框架负责保证数据项与其对应键的状态之间的一致性匹配。但是当我们（non-key）属性进行数据关联，比如日期，而不是原始键（如 ID），这时就不能直接依赖 Flink 的 keyBy 分区机制来直接访问状态了，因为 keyBy 机制确保的是相同键的数据项会被路由到相同的并行实例。**：因为涉及磁盘IO，SSD是必要的，而且会有缓存，合并和压缩的时候也会对cpu有一定依赖。合并读取和压缩策略：通过智能的读取和压缩策略减少磁盘访问次数和优化存储空间使用。
Flink 从1.7 到1.12版本升级汇总
张伯毅的专栏
02-18 3606
-------------------------一 .前言二 .Flink 1.7 版本2.1. Flink中的Scala 2.12支持2.2. 状态变化2.3. Exactly-once语义的S3 StreamingFileSink2.4. Streaming SQL中支持MATCH_RECOGNIZE2.5. Streaming SQL中的 Temporal Tables 和 Temporal Joins2.6. 版本化REST API2.7. Kafka 2.0 Connector2.8.
【Flink 使用注意】Flink checkpoint清除策略使用指南
ChengYanan的博客
01-14 4552
文章目录Flink Checkpoint 目录的清除策略应用代码Flink源码需要注意 Flink Checkpoint 目录的清除策略 应用代码 CheckpointConfig checkPointConfig = streamEnv.getCheckpointConfig(); checkPointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); checkPointConfig.setCheckpointTimeout(1 *
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值