Flink提交任务到yarn上启动踩坑（一）

最新推荐文章于 2024-08-07 18:15:00 发布

中庸之道123

最新推荐文章于 2024-08-07 18:15:00 发布

阅读量5.7k

点赞数

文章标签： flink yarn error ProgramInvocationException

本文链接：https://blog.csdn.net/wangyu1025391259/article/details/86641301

版权

在启动任务的时候报错如下：

错误原因：

必须-c在JAR文件之前指定参数，否则收到错误消息

更改后的提交代码如下：

./bin/flink run -m yarn-cluster -yqu info -yn 3 -c com.flink.dataset.WordCountTest /home/msns/wangyu/flink/flink_test_3.jar

更改后正常运行如下：

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

中庸之道123

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

flink实战--Application模式下java程序将flink任务提交到yarn集群

阿华田的博客

01-19

3015

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦简介对于单个flink任务提交到yarn集群，通过命令行的方式是能接受的，但是我们开发实时计算平台就需要通过代码的方式将我们管理的flink任务提交到yarn集群上去。本文主要介绍flink1.11新的部署模式–Application模式，具体Application模式和其他提交方式的区别可以参考我的这篇文章：flink on yarn。程序提交flink任务的步骤第一步：引入相关的配置到...

Flink yarn 任务job失败 yran application_xxx_id 还处于running状态

wu的博客

11-10

1029

Flink yarn 任务job失败 yran application_xxx_id 还处于running状态

1 条评论您还未登录，请先登录后发表或查看评论

Flink之提交任务

qq_41924766的博客

05-14

1948

s(–slots)：每个 TaskManager 的 slot 数量，默认一个 slot 一个 core，默认每个。taskmanager 的 slot 的个数为 1，有时可以多一些 taskmanager，做冗余。-nm：yarn 的 appName(现在 yarn 的 ui 上的名字)。进入flink Web页面：http://hostname:8081/-tm：每个 taskmanager 的内存（单位 MB)。由于并行度设置的是2，3台机器只有2台是有数据的，如下图。查看集群上运行的job。

Flink(arm) on K8S 部署时的那些坑

热门推荐

asfjgvajfghaklsbf的博客

09-29

2万+

在flink on yarn模式中，flink yarn-session的两种提交方式 1.公用一个yarn-session 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个yarn-session 每次提交都会创建一个新的flink集群，任务之间互相独立，互不影...

Flink1.11 脚本提交任务yarn以及java代码提交任务到yarn执行实践

qq_31866793的博客

09-10

4823

1,我们先看官网，一起从官网看起 https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/deployment/yarn_setup.html 2，看到上图，我就忽略第一个模式了，在正式生产环境我们一般推崇第二种模式，或者第三种模式 3，查看执行参数命令 ./bin/flink run --help Action "run" compiles and runs a program. Syn...

【Flink】Flink 提交任务到 yarn 报错 NoClassDefFoundError ImutabMap

九师兄

06-18

445

1.概述 ‘flink on yarn启动不了的，flink提交任务报错这个一看就是缺少类或者类冲突是jar包问题，把hadoo2的包换成hadoop3的

Flink任务提交on-YARN

qq_40169915的博客

11-29

1200

1. yarn-session 模式任务提交配置环境变量 HADOOP_CLASSPATH 否则yarn-session.sh命令会报错 ######## HADOOP_HOME export HADOOP_HOME=/opt/hadoop-3.1.3 export PATH=$HADOOP_HOME/bin:$PATH export PATH=$HADOOP_HOME/sbin:$PATH ####### HADOOP_CLASSPATH export PATH=/opt/myshell:$PATH e

使用java远程提交flink任务到yarn集群

weixin_43039757的博客

05-13

1572

由于业务需要，使用命令行的方式提交flink任务比较麻烦，要么将后端任务部署到大数据集群，要么弄一个提交机，感觉都不是很离线。经过一些调研，发现可以实现远程的任务发布。接下来就记录一下实现过程。这里用flink on yarn 的Application模式实现。

flink的常见的任务提交方式

zhizhi120的博客

01-26

1989

flink执行任务的三种方式，flinksql、flinkjar和flink Rest API

【Flink】Flink CDH6.3.2 下的yarn per job模式 savepoint和checkpoint，卡住，没有保存成功文件

九师兄

12-08

656

1.场景1 1.1 概述我们遇见CDH6.3.2 下的yarn per job模式 savepoint和checkpoint，卡住，没有保存成功文件非常简单的一个job，消费几条kafka，不存在太大的问题，单机flink可以，yarn下不行文件也创建出来了，0字节，然后我在flink 1.13 源码中加入如下日志然后运行如下还有ERROR字样的就是这句现在知道OperatorCoordinatorCheckpoints.triggerAndAcknowledgeAllCoordin

FlinkYARN 模式部署运行作业

Appreciate(欣赏)

04-16

563

⚫ -d：分离模式，如果你不想让 Flink YARN 客户端一直前台运行，可以使用这个参数，即使关掉当前对话窗口，YARN session 也可以后台运行。支持，需要自行在官网下载 Hadoop 相关版本的组件 flink-shaded-hadoop-2-uber-2.7.5-10.0.jar，1、按照 3.1 节所述，下载并解压安装包，并将解压后的安装包重命名为 flink-1.13.0-yarn，4、执行Flink命令向 YARN 集群申请资源，开启一个 YARN 会话，启动 Flink 集群。

Flink on Yarn 部署问题汇总

hzyice的博客

06-26

1161

Flink on Yarn 部署问题汇总 1. Yarn上报错：Unsupported major.minor version 52.0 ，jdk版本不支持解决办法：把jdk从1.7升级到1.8。jdk1.8.0_11版本在运行Flink时，会出现莫名其妙的问题，墙裂建议更换成jdk1.8.0_191，jdk传送门:https://pan.baidu.com/s/1M4Xo9GwDgTAmnDJfcmMsJg 提取码：vrqa 2.部署后，在yarn上面一直显示RUNING...

运行flink on yarn遇到的一些问题

zhoucs86的博客

04-08

2226

1，根据hadoop的版本在flink的页面上下载对应于hadoop版本和scala版本的flink的包 2，使用start-yarn.sh在集群上运行yarn，启动后可以在8088上面找到yarn的web界面需要注意的是，需要将resourcemanager的地址指向master的地址 <property> <name>yarn.nodemanager....

Flink集群运行job失败

qq_41999004的博客

06-13

824

背景本地job可以正常运行,打包上传到集群后输入内容抛出异常原因:代码依赖中flink 基于scala2.12版本,但是集群上的flink基于scala的2.10版本

flink提交任务到yarn命令

06-13

提交Flink任务到YARN的命令如下： ``` ./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 examples/streaming/WordCount.jar ``` 其中： - `-m`：指定Flink集群的地址，这里使用yarn-cluster模式。 - `...