- 博客(9)
- 收藏
- 关注
RSS订阅原创 记Pulsar集群数据迁移流程
公司业务调整，需要将一批运行在云上的Pulsar集群迁移到自建机房中。于是折腾了Pulsar迁移的流程，这里记录下主要操作。Pulsar集群迁移主要有两种方式：1、基于geo-replication跨机房复制的方式迁移；2、通过节点扩缩容的方式替换节点完成集群迁移。基于跨机房复制的方案，基本架构就是将pulsar内部维护一个消费者将数据发送到副本集群。通过开启复制订阅，将消费者消费信息同步到副本集群，实现跨机房消费无缝切换（默认复制间隔为1s，消费切换时可能存在1s的重复消费）这种方式适用于,集群T
2022-06-09 18:51:01
787
1
原创 Flink History Server小文件优化
Flink History Server小文件优化背景：通过开启作业归档，JobManger会将结束运行态的Flink作业的统计信息（拓扑信息、运行状态、checkpoint、累加器、异常）归档到远端文件系统。History会从远端下载归档的作业信息并提供查询方式。一个Flink作业代表平台任务（per-Job集群）的一次运行周期，一个平台任务对应这一个或多个Flink任务。问题：随着平台新增任务，以及用户对平台作业的更新迭代操作，归档的作业信息越来越多，很快本地磁盘inode资源就被打满。通过
2022-05-10 15:24:20
689
原创 Flink重启策略(restart-strategy)优化
Flink重启策略(restart-strategy)优化indexFlink重启策略(restart-strategy)优化背景问题分析结论优化背景1、实时任务依赖Zookeeper做高可用，当Zookeeper节点重启，会导致相当一部分任务挂掉；2、依赖DCache、HBase这类外部系统的任务，稳定性较差，当外部系统抖动很容易就导致任务运行失败。理想情况下，我们希望在外部依赖出现波动时，任务能重新连接/连接其他服务节点，而实际上，Flink本身也提供了任务自动重启的支持，我们默认使用的是fa
2022-02-24 21:04:43
1627
原创 Flink——Task退出流程与Failover机制
Flink——Task退出流程与Failover机制目录Flink——Task退出流程与Failover机制1 TaskExecutor端Task退出逻辑2 JobMaster端failover流程2.1 Task Execute State Handle2.2 Job Failover2.2.1 Task Failure Handle2.2.2 Restart Task2.2.3 Cancel Task：2.2.4 Start Task1 TaskExecutor端Task退出逻辑Task.doRu
2022-02-23 00:35:23
2528
原创 Flink任务问题分析与性能调优
作者： 吴培坚——虎牙实时计算平台研发工程师Flink调优对于问题的定性很重要，只有先确定问题性质才能针对性优化。首先要明白，Flink是分布式流计算框架，可简单理解为多个相互通讯的有状态java进程，其调优本质跟普通的java程序大同小异。1.1 问题定位的基础： 只有具备良好的的监控数据支持，才能感知问题/异常的发生并对其快速定位。监控指标主要分为以下三个维度：1. Flink框架： 框架本身内嵌了很多方便运维...
2021-11-01 22:46:51
6802
原创 RocksDB基本架构与原理介绍
RocksdbFlink提供基于流的有状态计算，除了提供实时数据流的处理能力，还需要将计算产生的状态存储起来。为了满足状态存取需求，提供了memory、flie system、rocksdb三种类型的状态存储机制。memory存取高效单空间有限，且可用性低；file system提供状态持久化能力但存取性能较低；rocksdb提供数据快速写入以及数据持久化的能力。本文介绍了Rocksdb设计的基本架构。RocksDB介绍Rocksdb 是基于Google LevelDB研发的高性能kv持久化存
2021-10-19 10:32:31
20303
1
原创 Flink任务调度逻辑（基于1.12）
Flink任务调度部署原理（基于1.12）术语Region: A pipelined region is defined as the set of tasks that are connected via pipelined data exchanges. 将通过pipeline方式交互数据的subtask的一个task集合。ExecutionVertex: 作业逻辑拓扑中的一个顶点的一个并行度，即JobVertex: 作业逻辑拓扑中的一个顶点CoLocationGroup: 一组JobVe
2021-10-09 11:58:28
908
原创 Flink调度策略优化：Task均衡
Flink调度策略优化：Task均衡一、背景：flink任务部署使用基于k8s的standalone集群，先在容器上部署flink集群再提交flink任务，其中flink任务的提交与taskmanager的创建、注册是同时进行的。二、问题如果集群有35个taskmanager，其中一个Vertex的并行度<=35，属于该vertex的task会调度到同个taskmanager上，导致节点负载不均衡。如下所示，该flink拓扑拥有5个vertex，其中两个vertex并行度为140，其他
2021-09-03 14:53:34
3810
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人