![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 74
_Janick
数据平台、数据仓库
展开
-
Flink History Server小文件优化
Flink History Server小文件优化背景:通过开启作业归档,JobManger会将结束运行态的Flink作业的统计信息(拓扑信息、运行状态、checkpoint、累加器、异常)归档到远端文件系统。History会从远端下载归档的作业信息并提供查询方式。一个Flink作业代表平台任务(per-Job集群)的一次运行周期,一个平台任务对应这一个或多个Flink任务。问题:随着平台新增任务,以及用户对平台作业的更新迭代操作,归档的作业信息越来越多,很快本地磁盘inode资源就被打满。通过原创 2022-05-10 15:24:20 · 689 阅读 · 0 评论 -
Flink重启策略(restart-strategy)优化
Flink重启策略(restart-strategy)优化indexFlink重启策略(restart-strategy)优化背景问题分析结论优化背景1、实时任务依赖Zookeeper做高可用,当Zookeeper节点重启,会导致相当一部分任务挂掉;2、依赖DCache、HBase这类外部系统的任务,稳定性较差,当外部系统抖动很容易就导致任务运行失败。理想情况下,我们希望在外部依赖出现波动时,任务能重新连接/连接其他服务节点,而实际上,Flink本身也提供了任务自动重启的支持,我们默认使用的是fa原创 2022-02-24 21:04:43 · 1627 阅读 · 0 评论 -
Flink——Task退出流程与Failover机制
Flink——Task退出流程与Failover机制目录Flink——Task退出流程与Failover机制1 TaskExecutor端Task退出逻辑2 JobMaster端failover流程2.1 Task Execute State Handle2.2 Job Failover2.2.1 Task Failure Handle2.2.2 Restart Task2.2.3 Cancel Task:2.2.4 Start Task1 TaskExecutor端Task退出逻辑Task.doRu原创 2022-02-23 00:35:23 · 2528 阅读 · 0 评论 -
Flink任务算力自适应(弹性扩缩容)实践
一、背景平均资源利用率在13%原创 2021-11-30 19:54:03 · 1716 阅读 · 0 评论 -
Flink任务问题分析与性能调优
作者: 吴培坚——虎牙实时计算平台研发工程师Flink调优对于问题的定性很重要,只有先确定问题性质才能针对性优化。首先要明白,Flink是分布式流计算框架,可简单理解为多个相互通讯的有状态java进程,其调优本质跟普通的java程序大同小异。1.1 问题定位的基础: 只有具备良好的的监控数据支持,才能感知问题/异常的发生并对其快速定位。监控指标主要分为以下三个维度:1. Flink框架: 框架本身内嵌了很多方便运维...原创 2021-11-01 22:46:51 · 6802 阅读 · 0 评论 -
RocksDB基本架构与原理介绍
RocksdbFlink提供基于流的有状态计算,除了提供实时数据流的处理能力,还需要将计算产生的状态存储起来。为了满足状态存取需求,提供了memory、flie system、rocksdb三种类型的状态存储机制。memory存取高效单空间有限,且可用性低;file system提供状态持久化能力但存取性能较低;rocksdb提供数据快速写入以及数据持久化的能力。本文介绍了Rocksdb设计的基本架构。RocksDB介绍Rocksdb 是基于Google LevelDB研发的高性能kv持久化存原创 2021-10-19 10:32:31 · 20303 阅读 · 1 评论 -
Flink调度策略优化:Task均衡
Flink调度策略优化:Task均衡一、背景:flink任务部署使用基于k8s的standalone集群,先在容器上部署flink集群再提交flink任务,其中flink任务的提交与taskmanager的创建、注册是同时进行的。二、问题如果集群有35个taskmanager,其中一个Vertex的并行度<=35,属于该vertex的task会调度到同个taskmanager上,导致节点负载不均衡。如下所示,该flink拓扑拥有5个vertex,其中两个vertex并行度为140,其他原创 2021-09-03 14:53:34 · 3810 阅读 · 7 评论