flink 如何优化大状态作业

最新推荐文章于 2024-06-12 11:03:23 发布
最新推荐文章于 2024-06-12 11:03:23 发布
阅读量335 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33009107/article/details/118360659
版权

1.监控checkpoint和state
2个关键指标：
subtask checkpoint延迟时间
barrier对齐的缓存数量（excatly-once)

2.调整checkpoint参数
自定义checkpoint的时间间隔

3.rocksdb增量checkpoint

4.rocksdb内存的三种配置
block_cache_size:控制内存中的最大未压缩块数
write_buffer_size:控制rocksdb中memtable的最大值
max_write_buffer_number

kerryJiang666
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】美团 Flink 大作业部署与状态稳定性优化实践
九师兄
08-16 700
我觉得这篇文章有价值。美团 Flink 的应用场景覆盖了社区定义的三种场景：应用比较多的是数据管道场景，比如数仓 ODS 层数据的实时接入，或跨数据源的实时数据同步；比较典型的应用场景是数据分析，比如实时数仓的建设和应用，业务会出一些实时报表和大盘辅助业务做决策，或者计算一些实时特征服务于业务生产；事件驱动场景，目前主要应用于安全风控、系统监控告警。随着业务的发展和实时计算的迭代，业务对实时计算的应用越来越广泛，也越来越深入。...
美团 Flink 大作业部署与状态稳定性优化实践
Ververica的博客
02-23 1264
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本篇内容整理自美团数据平台工程师冯斐、王非凡在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容...
Flink系列之：Flink⼤状态作业调优实践指南
最新发布
zhengzaifeidelushang的博客
06-12 835
例如，在先前的讨论中，我们提到了将多个分组键（group by key）合并的操作，这种情况下，优化器无法准确推导出upsert键，因此出于安全考虑，会默认添加 SinkUpsertMaterializer。然而，对于用户而言，如果他们对数据的分布有充分的了解，即便不使用这个状态算子，也能够确保输出结果的正确性，从而在数据正确性和性能上都得到保证。这样，通过合理设定TTL值，我们不仅可以维持计算的精确性，还能及时清理陈旧数据，有效减少状态内存的占用，进而降低系统内存负担，提升计算效率和系统稳定性。
Flink大状态的优化
勇心在馨
03-03 3535
Flink 支持多种 StateBackend，当状态比较大时目前只有 RocksDBStateBackend 可供选择。RocksDB 是基于 LSM 树原理实现的 KV 数据库，LSM 树读放大问题比较严重，因此对磁盘性能要求比较高，强烈建议生产环境使用 SSD 做为 RocksDB 的存储介质。但是有些集群可能并没有配置 SSD，仅仅是普通的机械硬盘，当 Flink 任务比较大，且对状态访问...
Flink 使用大状态时的一点优化
http://www.54tianzhisheng.cn/
03-02 1462
通过本文你能 get 到以下点：Flink 内使用大状态时，该如何配置。常见的负载均衡策略Flink 源码中在选择 RocksDB 状态磁盘时，存在的问题。给出一些解决方案，并分析了每种...
Flink系列之：大状态与 Checkpoint 调优
zhengzaifeidelushang的博客
12-17 643
应用程序需要能够可靠地创建 checkpoints。在应用故障后，需要有足够的资源追赶数据输入流。第一部分讨论如何大规模获得良好性能的 checkpoints。后一部分解释了一些关于要规划使用多少资源的最佳实践。限制：目前，task 本地恢复仅涵盖 keyed state backends。Keyed state 通常是该状态的最大部分。在不久的将来，我们还将支持算子状态和计时器（timers）。以下 state backends 可以支持 task 本地恢复。
美团Flink大作业部署与状态稳定性优化实践-Flink Forward Asia 2021.pdf
04-29
美团Flink大作业部署与状态稳定性优化实践-Flink Forward Asia 2021
快手基于 Apache Flink 的优化实践
01-26
- Stateful Processing：Flink支持状态ful的计算，允许在处理过程中保持和更新中间结果，这对于实时指标计算至关重要。 - Checkpointing & Fault Tolerance：Flink通过周期性插入barrier执行checkpoint，确保在...
基于 Monitoring REST API 的 Flink 轻量级作业诊断.pdf
03-21
在每个阶段，Flink都会生成大量的日志和指标数据，这些数据可以用于诊断和优化作业。 在作业启动阶段，Flink会生成作业配置文件和作业依赖关系图。这些信息可以用于诊断作业的配置问题和依赖关系问题。 在作业运行...
Apache FlinkCEP 实现超时状态监控的步骤详解
09-14
6. **运行作业**：最后，使用Flink的API提交并执行CEPTimeoutEventJob，监控系统将开始处理实时数据并根据定义的模式触发超时报警。 在实现过程中，还可以利用CEPOperatorUtils工具类，它包含了一些帮助方法，比如`...
flink状态管理示例代码大全完整中文注释
10-19
在大数据处理领域，Apache Flink 是一个非常重要的流处理框架，以其高效、低延迟和强大的状态管理能力而闻名。本文将深入探讨Flink的状态管理，包括标题和描述中提到的关键概念，以及它们在实际应用中的作用。 首先...
一个flink作业的调优
weixin_30703911的博客
10-11 134
最近接手了一个flink作业，另外一个同事断断续续有的没的写了半年的，不着急，也一直没上线，最近突然要上线，扔给我，要调通上线。 现状是： 1.代码跑不动，资源给的不少，但是就是频繁反压。 2.checkpoint经常失败。 3.也是最严重的，跑着跑着，作业就挂了。 接手之后，秉承着代码的业务逻辑是对的原则，开始了调优之旅，后来发现，还是要从最基本的做起，不然都是白扯。总结了如下几...
flink实战--⼤状态作业调优实践指南-Flink SQL 作业篇
阿华田的博客
06-04 300
作为一种特定领域语言，SQL 的设计初衷是隐藏底层数据处理的复杂性，让用户通过声明式语言来进行数据操作。而Flink SQL 由于其架构的特殊性，在实现层面通常需引入状态后端 配合 checkpoint 来保证计算结果的最终一致性。目前 Flink SQL 生成状态算子的策略由优化器根据配置项 + SQL 语句来推导，想要在处理有状态的大规模数据和性能调优方面游刃有余的话，用户还是需要对 SQL 状态算子生成机制和管理策略有一定了解。
flink优化专题-02-状态及 Checkpoint 调优
q287573145的博客
04-03 1785
1、RocksDB 大状态调优 RocksDB 是基于 LSM Tree 实现的（类似 HBase），写数据都是先缓存到内存中，所以 RocksDB 的写请求效率比较高。RocksDB 使用内存结合磁盘的方式来存储数据，每次获取数据时，先从内存中 blockcache 中查找，如果内存中没有再去磁盘中查询。使用RocksDB 时，状态大小仅受可用磁盘空间量的限制，性能瓶颈主要在于 RocksDB 对磁盘的读请求，每次读写操作都必须对数据进行反序列化或者序列化。当处理性能不够时，仅需要横向扩展并行
Flink 实战 - 7.大规模状态 ValueState IO 实践与优化
BITDDD小栈
08-30 1103
工业场景下 Flink 经常使用 ValueState + RocksDBStateBackend 的组合，针对不断增大的 ValueState 或者数量过大的 ValueState，RocksDBStateBackend 使用了 TaskManager 所在机器的本地目录，从而突破 JVM Heap 的限制，满足了大量 ValueState 存储的场景，下面介绍大状态下 ValueState 的实践与优化。.........
Flink任务大状态使用filesystem反压
ChengYanan的博客
08-12 681
备注：本文摘抄与Flink社区邮件列表，是个典型问题，特此记录，Q为提问者邮件，A为解答邮件 Q： Hi，咨询各位一个问题，我们线上任务使用 rocksdb 作为 statebackend 时间久了发现会出现反压，查看服务器监控发现机器io经常是满的，为了保证业务稳定性，现在将statebackend改为filesystem，但是发现已经配置了很大的内存，使用filesystem之后执行cp时间特别长，而且kafka数据源积压很大，大家有遇到这种情况的吗？是使用filesystem的姿势不对吗？ A: ch
Flink大状态优化笔记
Anna4的博客
02-01 712
一、问题表现 1、taskmanager不断重启。 2、吞吐量不断下降，数据堆积，checkpoint失败 二、解决： 1、由于我们是程序开发，自定义状态，所以首先考虑优化中间结构，将原有MapState中的多个值，简化key及value，state减少了1/3，后自定义对象pojo实现序列化接口，方便存取。状态也减少了一些，但是效果不大。 2、开启增量（怎么忘记了这个！） new RocksDBStateBackend(checkpointUrl, true) 3、做完上面两步后，taskmanager就
Flink 大状态存储 & 状态TTL
窦小雨的小点子
12-08 3409
什么是Flink大状态存储？ 举个栗子。现有用户访问流数据，需统计每个用户PV，用户量级为3亿。如何计算？ 假定每个用户ID为50字节。那么3亿用户ID的存储需要：50 b * 3 亿 ≈ 13 G ，那么可以直接存在job内存中，如果担心job重启，内存数据丢失，可以放在redis中，或者Aerospike（一种用磁盘的kv存储）。 那如果状态再大一些呢？再举个栗子：某广告场景下，点击数据需要根据请求ID 到请求日志中取相关维度信息。假设请求发生后，24小时之内，都有可能发生点击，那么就需要将请求.
21、Flink 大状态调优
猫猫爱吃小鱼粮
09-07 260
Flink 大状态调优
Flink状态优化与远程状态探索：压缩与服务化策略
Flink State的优化和远程化探索是为了解决大规模流处理任务中的性能瓶颈和资源管理问题，通过压缩技术减轻系统负载，通过远程State实现更高效、灵活的状态存储和恢复机制，以提升整个Flink作业的稳定性和效率。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值