Flink
文章平均质量分 53
csdn_chshuai
这个作者很懒,什么都没留下…
展开
-
记录Flink On Yarn taskmanager分配不均匀问题
业务场景:Flink On Yarn任务启动组件版本:CDH:6.3.0Flink:1.12.1Hadoop:3.0.0问题描述:在使用FLink on Yarn调度过程中,发现taskmanager总是分配在集中的几个节点上,集群有11个节点,但每个任务启动,只用到两三个节点,导致这几台服务器负载过高,其他节点又比较空闲。问题分析:先介绍yarn的两个参数:1、yarn.scheduler.fair.assignmultiple2、yarn.scheduler.fair.max.原创 2022-04-19 15:53:59 · 3119 阅读 · 2 评论 -
Flink1.9.0升级到Flink1.12.1问题汇总
业务场景:Flink消费Kafka数据写入Hbase组件版本:CDH:6.3.0Flink:1.12.1Hbase:2.1.0-cdh6.3.0问题1:java.lang.NoSuchMethodError:org.apache.commons.cli.Option.builder(Ljava/lang/string;)问题原因:hadoop-common依赖中commons-cli版本过低,导致程序运行找不到最新版的方法解决办法:剔除Hadoop中commons-cli的依赖,并添原创 2022-03-25 11:28:22 · 2465 阅读 · 0 评论