flink yarn-session.sh启动任务指定的应用名和队列无效问题

问题背景

我有一个hadoop集群和一台机器A.

我在机器A上,使用命令:

bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm fsql-cli > /dev/null 2>&1 &

启动了一个yarn-session,其中,指定了队列root.flink和应用名fsql-cli。

但是,在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致,如图:
在这里插入图片描述

启动后,应用名为:Flink session cluster,队列名为:root.default,显然使用了默认的应用名和队列。

flink环境如下:

flink版本:1.10.0
flink-conf.yaml配置:
[fsql@10-42-63-116 conf]$ grep -v ^# flink-conf.yaml |grep -v ^$
jobmanager.rpc.address: localhost
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.memory.process.size: 2048m
taskmanager.numberOfTaskSlots: 10
parallelism.default: 1
jobmanager.execution.failover-strategy: region

那么,为什么我指定的

  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
启动 Flink 集群时,可以通过以下几种方式来判断 start-cluster.sh 是否启动成功: 1. 查看日志文件:Flink 启动时会生成日志文件,如果启动成功,则可以在日志文件中看到类似于 "Starting JobManager" 或 "Starting TaskManager" 等信息。你可以查看这些信息来确认启动是否成功。默认情况下,Flink 的日志文件位于 $FLINK_HOME/log 目录下。 2. 检查进程:你可以使用 ps 命令来检查 Flink 进程是否正在运行。例如,可以运行以下命令来查看所有正在运行的 Flink 进程: ``` ps aux | grep flink ``` 如果看到了类似于 "JobManager" 或 "TaskManager" 等进程,则说明 Flink 已经启动成功。 3. 检查端口:Flink 的各个组件通常会监听不同的端口。你可以使用 netstat 命令来检查这些端口是否被成功监听。例如,可以运行以下命令来查看 JobManager 是否正在监听 8081 端口: ``` netstat -an | grep 8081 ``` 如果看到了类似于 "0.0.0.0:8081" 或 "*:8081" 的信息,则说明 JobManager 已经成功监听了 8081 端口。 4. 访问 Flink Web 界面:Flink 启动成功后,你可以通过访问 Flink Web 界面来检查是否正常运行。默认情况下,Flink 的 Web 界面位于 http://localhost:8081 等地址。如果能够正常访问并看到 Flink 的 Web 界面,则说明 Flink 已经启动成功。 综上所述,以上几种方式可以帮助你判断 start-cluster.sh 是否启动成功。你可以根据实际情况选择其中一种或多种方式来确认 Flink 是否正常运行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值