【Flink】 传递优化参数-D不生效

已于 2022-12-07 17:03:32 修改
阅读量1.3k 收藏 1
点赞数
分类专栏： Flink实战 文章标签： flink kafka 大数据
于 2022-11-21 16:28:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_23225111/article/details/127967158
版权
本文记录了一位开发者在Flink中遇到-D参数设置taskmanager.numberOfTaskSlots未生效的问题。通过分析源码，发现是由于Flink提交命令中对不同CLI的误用。解决方案是修改提交命令为使用yarn-per-job模式并指定attached参数，问题得到解决。
摘要由CSDN通过智能技术生成

在开发时，有同事遇到一个优化参数-D不生效的问题，定位了问题的原因，写下这篇文章，问题如下

提交的Flink命令，下面命令taskmanager.numberOfTaskSlots不生效

/opt/flink-1.13.6/bin/flink run -d -m yarn-cluster -p 3 -Dtaskmanager.numberOfTaskSlots=2 -c com.flink.example.FlinkKafkaToKafka /root/flink-kafka-to-kafka-1.0-SNAPSHOT-jar-with-dependencies.jar

 

 问题原因，这个问题是Flink提交时三种Cli的滥用导致，具体的源码及使用

FLink源码 1.13 3 种 命令客户端 Generic CLI 、 yarn-cluster、DefaultCLI

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink】参数不生效
一杯咖啡半杯糖的博客
03-28 3605
提交flink的时候使用下面命令进行提交 flink run -m yarn-cluster -Djobmanager.memory.process.size=2048mb -c com.test.Test /data/flink-example-1.0-SNAPSHOT.jar 最后发现jobmanager.memory.process.size这个参数并不生效，flink参数如下 Options for Generic CLI mode: -D <property=v...
flink实战--flink on yarn
阿华田的博客
10-31 5821
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
flink命令行参数
04-08
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。
Flink本地开发设置jobmanager.memory.heap.size不生效
一个不安分的程序员
12-27 1873
问题描述： 数据开发人员本地IDEA运行Flink应用JobManager内存只有8G，需要设置成16G，通过设置jobmanager.memory.heap.size为16G后，在FlinkUI上看到 jobmanager的配置大型为16G，但可用内存还是8G 解决方法： 在IDEA运行配置中设置JVM参数 -Xmx16G -Xms16G 解决 本地IDEA运行Flink和提交运行方式是不一样的，本地运行内存限制于IDEA启动任务时的JVM参数，官方文档中也有提到： ...
Flink
weixin_46579297的博客
06-13 733
Flink
windows 完全禁用传递优化服务+Delivery Optimization 拒绝访问
热门推荐
wongtj
05-28 1万+
禁用Delivery Optimization服务，关闭传递优化，Delivery Optimization拒绝访问时修改注册表
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
prague6695的博客
07-14 4506
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
Flink源码分析--(二)FLink SQL Window功能
LS_ice的专栏
05-31 5640
文章目录一、window功能概述二、window分类及整体流程三、 创建WindowOperator算子四、WindowOperator处理数据 一、window功能概述 Flink窗口具有多种类型，包括基于计数的滑动窗口和滚动窗口，基于系统时间和事件时间的滑动窗口、滚动窗口以及会话窗口，从而把源源不断产生的数据根据不同的条件划分成一段一段有边界的数据区间，使用户能够利用窗口功能实现很多复杂的统...
【flink】flink获取参数方式
最新发布
lisacumt的专栏
10-31 980
flink获取参数方式
flink
t17246的博客
06-13 344
一 架构设计1 架构设计图二运行模式1 本地运行模式 -local ：一个机器启动一个进程的多线程来模拟分布式计算，2 standalone 模式-独立Flink集群：各个环节Flink自己搞定，并没有yarn 、mesos统一资源调度 平台3 集群运行模式：经常是指 flink on yarn 集群模式，yarn也可换为mesos,Kubernetes等集群运行模式共3种：1）Flink Session 集群(会话模式)2) Flink Job 集群(per-job模式）3) Flink Applicat
Flink动态传参
半壁江山009的博客
04-17 1299
背景： 在自定义metric report时，实现了MetricReporter，可以在其open方法中做一些初始化操作。 @Override public void open(MetricConfig config) { //todo do something } 其中config包含了flink-conf.yaml配置文件中的所有参数，可以通过config方法获取 比如： metricConfig.getString(CHANNEL, null) 但是为了不影响jar，更灵
flinksql client使用
小东的博客
03-02 487
sql-client.sh embedded -d ~/sql-client-defaults.yaml create table test0311( a0 VARCHAR, a1 VARCHAR, a2 VARCHAR, a3 VARCHAR, a4 VARCHAR, a5 VARCHAR, a6 VARCHAR, a7 VARCHAR, a8 VARCHAR, a9 VARCHAR, a10 VARCHAR, a11 VARCHAR, a
flink源码解读--1 命令行提交
peidezhi的专栏
01-21 555
1 提交自己打包的流job ./bin/flinkrun -c com.tclking.ai.PVUVDayMain -m yarn-cluster examples/batch/WordCount.jar 2 flink 脚本内容： target="$0" iteration=0 # 判断脚本名合法性 while [ -L "$target" ]; do if...
Flink（五十一）—— 一张图轻松掌握 Flink on YARN 基础架构与启动流程
weixin_42073629的博客
10-22 479
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程，并进行详细步骤解析。 Flink on YARN 应用启动流程图 Flink on YARN 集群部署模式涉及 YARN 和 Flink 两大开源框架，应用启动流
[1131]Flink(1.13)命令行提交Job
周小董
04-23 3957
文章目录Per-Job-Cluster新老版本启动方法Session-ClusterPer-Job-Cluster 与 Session-Cluster 区别ApplicationPer-Job-Cluster 与 Application 区别高可用配置Yarn 高可用和Standalone 高可用区别查看flink提交任务 Flink提供了yarn上运行的3模式，分别为Application Mode, Session-Cluster和Per-Job-Cluster模式。 Yarn 模式会动态申请资源
slot没有毁灭的问题_解析flink之perjob模式下yn参数不生效问题
weixin_34766991的博客
01-30 699
概要：0. 问题背景1. Stream Job的切分2. 计算资源的调度 & 任务的执行3. 最后的总结0. 问题背景：开始用flink处理流式作业的时候，用yarn-cluster模式提交作业的时候，脚本如下：$FLINK_BIN run -m yarn-cluster -yqu root.profile -yn 20 -yjm 4096 -ytm 8192 -ynm Rece...
flink单机部署后，taskslot一直是0
东城庞太师
09-29 2882
如图，flink安装好后，Task Slots一直是0.修改过很多地方的设置，如jobmanager.memory.process.size: 5gb。最后修改这个地方：最配置文件最后添加一行，重启服务即可。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯咖啡半杯糖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值