Flink RocksDB 状态后端参数优化实践

最新推荐文章于 2024-07-12 19:51:05 发布
最新推荐文章于 2024-07-12 19:51:05 发布
阅读量222 收藏
点赞数 3
文章标签： flink 大数据 Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PmtxPhp/article/details/133765728
版权
Flink 专栏收录该内容
27 篇文章 2 订阅 ¥59.90 ¥99.00
订阅专栏

在使用Flink的状态后端时，RocksDB是一个常用的选择。为了获得最佳性能，我们可以对RocksDB进行参数调优。本文将介绍一些常见的参数以及它们的调优实践，并提供相应的源代码示例。

  1. 内存相关参数调优

1.1 blockCacheSize

blockCacheSize参数控制着RocksDB用于缓存数据块的内存大小。增加该值可以提高读取性能，特别是对于大型状态。然而，过大的blockCacheSize可能导致JVM内存压力过大，因此需要根据具体情况进行调整。

import org.rocksdb.BlockBasedTableConfig;
import org.rocksdb.Options;

Options opt
了解本专栏 订阅专栏 解锁全文
PmtxPhp
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
flink-statebackend-rocksdb_2.11-1.13.2-API文档-中文版.zip
06-06
赠送jar包：flink-statebackend-rocksdb_2.11-1.13.2.jar； 赠送原API文档：flink-statebackend-rocksdb_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-statebackend-rocksdb_2.11-1.13.2-sources.jar； 赠送Maven...
Flink RocksDB 状态后端参数调优实践
http://www.54tianzhisheng.cn/
10-26 345
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章截至当前，Flink 作业的状态后端仍然只有 Memory、FileSystem...
RocksDB系列二：RocksDB Option
肖氏专栏
07-16 5647
 RocksDB用户可以通过Options类将配置信息传入引擎，除此之外，还可以以下其他方法设置，分别为：通过option file生成一个option class从option string中获取option 信息从string map中获取option信息option string  用户可以调用GetColumnFamilyOptionsFromString() or GetDBOption...
RocksDB Java基本操作、乐观锁、事务及性能测试
HumorChen的博客
12-09 3301
基于Google的LevelDB改进而来，redis是基于内存的会存在丢失情况，而RocksDB不会丢失且性能极好（硬盘和SSD）。rocksdb是一款由Facebook使用C/C++开发的嵌入式的持久化的KV数据库。​ 1.对写性能要求很高，同时有较大内存来缓存SST块以提供快速读的场景；​ 2.SSD等对写放大比较敏感以及磁盘等对随机写比较敏感的场景；（线程安全需要用事务）建立连接，创建事务，对事务操作，提交事务，失败时回滚，最终关闭。​ 1.大value的场景，需要做kv分离；
rocksdb的基本操作
neuzhangno的博客
05-10 907
基本操作 该库提供持久性键值存储。键和值是任意字节数组。键根据用户指定的比较器功能在键值存储中排序。rocksdb 打开数据库 数据库具有与文件系统目录相对应的名称。数据库的所有内容都存储在此目录中。下面的示例演示如何打开数据库，并在必要时创建数据库：rocksdb #include <cassert> #include "rocksdb/db.h" rocksdb::DB* db; rocksdb::Options options; options.create_if_m
WebCollector
qq_42847719的博客
12-29 1133
WebCollector也是一个基于Java的开源网络爬虫框架，其支持多线程、深度采集、URL维护及结构化数据抽取等。WebCollector项目的源码可以在GitHub上进行下载。相比于Crawler4j，WebCollector的可扩展性和适用性更强，如可以实现多代理的切换、断点采集和大规模数据采集。
rocksdb的设置选项和基本调整
neuzhangno的博客
05-10 894
除了在 RocksDB 上使用基本操作编写代码外，您可能还对如何调整 RocksDB 以实现所需的性能感兴趣。在本页中，我们将介绍如何进行初始设置，该设置应该足以满足许多用例的需求。RocksDB 有许多配置选项，但其中大多数可以被许多用户安全地忽略，因为它们中的大多数都是为了影响非常特定的工作负载的性能。对于一般用途，大多数 RocksDB 选项可以保留为默认值，但是，我们建议在下面使用一些选项，每个用户都可能希望尝试使用常规工作负载。
flink-statebackend-rocksdb_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-statebackend-rocksdb_2.11-1.10.0.jar； 赠送原API文档：flink-statebackend-rocksdb_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-statebackend-rocksdb_2.11-1.10.0-sources.jar； 赠送Maven...
FlinkSQL在字节跳动的优化与实践
02-20
本文来自微信公众号Flink中文社区，由火龙果软件Anna编辑、推荐。2018年12月Blink宣布开源，经历了约一年的时间Flink1.9于2019年8月22发布。在Flink1.9发布之前字节跳动内部基于master分支进行内部的SQL平台构建。...
快手基于 Apache Flink 的优化实践
01-26
【快手基于Apache Flink的优化实践】 Apache Flink是一个开源的流处理框架，它在快手的生产环境中扮演着重要角色，用于处理实时无界数据流（unbounded data），以实现快速计算和输出结果。Flink的设计目标是提供低...
flink-statebackend-rocksdb_2.11-1.13.2-API文档-中英对照版.zip
06-05
赠送jar包：flink-statebackend-rocksdb_2.11-1.13.2.jar； 赠送原API文档：flink-statebackend-rocksdb_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-statebackend-rocksdb_2.11-1.13.2-sources.jar； 赠送Maven...
【Flink】Flink on RocksDB 参数调优指南
九师兄
06-14 5811
1. 背景 对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决 [2]. 基于我们长期的状态调优经验，通过合理的资源分配，RocksDB 方案可以稳定支持上百 GB 甚至上 TB 的总状态量；但是众所周知的是，RocksDB 的可调参数非常繁琐，有上百个之多，且彼此之间还相互影响，非常难以调整。更致命的是，默认参数和配置不当的参数，读写性能会比.
Flink---12、状态后端（HashMapStateBackend/RocksDB）、如何选择正确的状态后端
星光不问赶路人，岁月不负有心人
10-08 1456
状态后端（HashMapStateBackend/RocksDB）、如何选择正确的状态后端
RocksDB的一些基本概念及简单应用（扫盲）
热门推荐
大老龙的博客
02-07 1万+
本文介绍RocksDB的一些基本概念和术语，及Java程序如何使用RocksDB。
Mac M1安装配置Hadoop+Flink SQL环境
zhujiahui622的专栏
07-12 611
Flink 1.18.1+ Hadoop 3.4.0
Flink异常：org/apache/hadoop/hive/ql/parse/SemanticException
最新发布
yuanlaishidahuaa的博客
07-12 156
上面这段代码出现如下这个异常，加上下面这个依赖后不报错。在flink项目中跑。
Apache-Flink未授权访问高危漏洞修复
weixin_38255219的博客
07-12 487
由于flink没有鉴权的设置，使用使用 htpasswd 工具+服务器系统防火墙设置，才能禁用默认对外访问的8081端口，使用用户名+密码实现安全验证登录flink web ui。
Flink推测机制
不甚了然的博客
07-09 1033
Flink推测机制
FlinkModule加载HiveModule异常
yuanlaishidahuaa的博客
07-11 125
但我把这个依赖贴近pom文件后，用maven加载时，maven对这个包爆红，网上查说是需要scala环境，目前还没解决。加在不出来这个模块，网上查说是要加下面这个依赖。HiveModule这个模块加载不出来。
flink1.13.6清空状态后端
04-28
清空状态后端是指将Flink的状态存储系统中的状态清空，以便重新开始处理数据。Flink1.13.6版本提供了多种清空状态后端的方法，下面将分别介绍。 1. 手动清空状态后端 手动清空状态后端可以使用Flink的Web界面或者REST API接口，在任务运行时手动触发进行清空操作。具体操作步骤如下： 1）在Flink Web界面中找到对应的任务，点击“Task Manager”进入Task Manager界面。 2）找到对应的Task，点击Task Id进入任务的详情页。 3）在Task详情页顶部的“Actions”下拉菜单中选择“Clear State”，点击“Clear”按钮即可触发状态后端的清空操作。 2. 自动清空状态后端 自动清空状态后端可以使用Flink的Checkpoint机制，在任务运行时自动进行清空操作。具体操作如下： 1）创建JobManager的checkpoint配置。 2）创建TaskManager的checkpoint配置。 3）在任务中使用“env.getCheckpointConfig().enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION)”方法来开启自动清空状态后端功能。 总结 Flink1.13.6提供了多种清空状态后端的方法，手动清空和自动清空都能满足不同场景下的需求。需要根据实际情况来选择合适的方案。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值