flink1.11中Application 模式提交任务 yarn报错

最新推荐文章于 2024-03-19 16:05:07 发布
最新推荐文章于 2024-03-19 16:05:07 发布
阅读量4.2k 收藏 1
点赞数 1
分类专栏： 大数据 文章标签： flink application 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sqf_csdn/article/details/107758529
版权

flink1.11中Application模式提交任务到yarn时，提示报错信息：

java.lang.RuntimeException:Couldn’t deploy Yarn session cluster

The YARN application unexpectedly switched to state FAILED during deployment.

解决办法：

错误原因：虚拟内存超过限制
处理方式：yarn-site.xml中注释以下内容：

<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
</property>

 

小迷糊同学
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Flink 1.11最新版 中文文档
07-27
Flink 1.11最新版 中文文档，包含安装、DataStream、Table API、SQL 等所有操作，非常详细。
YarnClusterDescriptor$YarnDeploymentException
arbalest1080的博客
09-26 184
Caused by: org.apache. flink.yarn.YarnClusterDescriptor$YarnDeploymentException:The YARN application unexpectedlyswitched to state FAILED during deployment
【flink】flink on yarn jar异常，类冲突：原因本地上传jar和hdfs的jar冲突
最新发布
lisacumt的专栏
03-19 458
flink on yarn jar异常，类冲突：原因本地上传jar和hdfs的jar冲突
FLINK1.11.zip
11-16
源码编译好的FLINK1.11版本,支持大数据CDH 6.2.0(Hadoop 3.0.0),Java 版本: 1.8.0_181,Scala-2.11
Flink1.11中文文档.pdf
07-20
flink1.11 中文文档，
Flink1.11中文文档
01-11
Flink1.11中文文档
部署flink集群遇到的问题（记录）
飞朋的博客
01-03 1897
1、flink jdk 版本的问题 org/apache/flink/yarn/entrypoint/YarnSessionClusterEntrypoint : Unsupported major.minor version 52.0 org/apache/flink/runtime/entrypoint/StandaloneSessionClusterEntrypoint : Unsupp...
flink on yarn -启动任务报错——FileNotFoundException: File file:/root/.flink/application_1647864661406_0365/
龍承leo
03-12 3429
Caused by: org.apache.flink.yarn.YarnClusterDescriptor$YarnDeploymentException: The YARN application unexpectedly switched to state FAILED during deployment. Diagnostics from YARN: Application application_1647077633391_0005 failed 1 times (global limit =.
The main method caused an error: Could not deploy Yarn job cluster.
qq_34009542的博客
12-22 2868
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Could not deploy Yarn job cluster. Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster. Caused by...
flink on yarn启动失败
qq_27736105的博客
04-17 3398
我启动hadooponyarn集群后 [root@node1flink-1.6.1]#./bin/yarn-session.sh-n2-jm1024-tm1024 报的如下错误 1 Caused by: org.apache.flink.yarn.AbstractYarnClusterDescriptor$YarnDeploymentException: The ...
flink on yarn遇到的yarn资源不足问题
qq_37820533的博客
02-28 3616
在每个hadoop节点上的yarn-site.xml文件里添加下面的配置 实际业务中，集群上的内存分配是提前做好预估的，在业务处理的过程中需要根据业务的实际需要做出相应的调整，这实际上是技术问题，需要开发人员有一定的经验。 ...
flink on yarn集群搭建及验证要点记录
程序员涂小哥的技术博客
10-16 2199
standalone模式的弊端 前面搭建了flink简单集群，并在此基础上又搭建了HA集群，记录地址如下： flink初识及集群搭建和简单验证 flink-HA集群搭建和问题记录 虽然上述两种都能使用，在学习flink-api阶段应该是够用了，但是如果真要上生产使用，就还是有一定的弊端。 根据之前的学习可知，flink集群主要分为jobManager和taskManager，而jobManger的任务主要有两个，一个是资源管理，另一个是任务调度。 这样一来，jobManager的任务其实就显得有点多，而又由
Flink任务提交问题汇总
微信搜：import_bigdata，大数据领域硬核原创作者
02-24 1711
全网最全大数据面试提升手册！flink 任务提交问题汇总1. 提交flink自带任务WordCount.jar遇到的问题：2. 提交flink 批处理任务时遇到的问题3. flink定时任务，mysql连接超时问题4. flink checkpoint 恢复失败5. yarn 增加并行任务数量配置6. 流处理flink程序在hadoop集群跑了一段时间莫名挂掉1. 提交flink自带任务WordC...
Flink1.10 异常记录
风子的博客
08-31 1754
1、应用提交控制台异常信息：Could not build the program from JAR file. 这个问题的迷惑性较大，很多时候并非指定运行的 JAR 文件问题，而是提交过程中发生了异常，需要根据日志信息进一步排查。最常见原因是未将依赖的 Hadoop JAR 文件加到 CLASSPATH，找不到依赖类（例如：ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException）导致加载客户端入口类（FlinkYarn
Flink中遇到的问题
index_test的博客
02-24 2489
解决遇到的一些问题
Flink on yarn Couldn‘t deploy Yarn cluster或者The YARN application unexpectedly switched to state FAIL
热门推荐
Joseph25的博客
03-28 1万+
Error while deploying YARN cluster: Couldn't deploy Yarn cluster java.lang.RuntimeException: Couldn't deploy Yarn cluster at org.apache.flink.yarn.AbstractYarnClusterDescriptor.deploy(AbstractYarnCl...
Flink On Yarn HA模式搭建问题
weixin_56892092的博客
07-06 986
Flink ON Yarn HA搭建无法启动分析
Apache Flink 1.12.0 on Yarn(3.1.1) 所遇到的問題
m0_46168848的博客
11-04 791
Flink on yarn提交任务报错ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Error while running the Flink session. org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't deploy Yarn session cluster
flink1.11 中 Kafka SQL Connector 如何获取record 的 kafkalogtime
05-26
在Flink 1.11中，Kafka SQL Connector可以通过使用`TIMESTAMP_LTZ`类型来表示Kafka消息的时间戳。这个类型可以直接从Kafka的消息中获取时间戳，并将其转换为UTC时间。 要使用`TIMESTAMP_LTZ`类型，需要在创建表时指定相应的字段类型，例如： ``` CREATE TABLE kafka_table ( `timestamp` TIMESTAMP_LTZ(3), `key` STRING, `value` STRING, WATERMARK FOR `timestamp` AS `timestamp` - INTERVAL '5' SECOND ) WITH ( 'connector' = 'kafka', 'topic' = 'my_topic', 'properties.bootstrap.servers' = 'localhost:9092', 'scan.startup.mode' = 'earliest-offset', 'format' = 'json' ) ``` 在这个表中，`timestamp`字段被声明为`TIMESTAMP_LTZ`类型，并且在`WATERMARK`语句中定义了一个水印来指示数据流的事件时间。在这个示例中，水印是通过将事件时间减去5秒来计算的。 在Flink中，可以使用`org.apache.flink.formats.json.JsonNode`类型来解析JSON格式的消息。例如： ``` StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); tableEnv.createTemporaryView("kafka_table", env .addSource(new FlinkKafkaConsumer<>("my_topic", new JSONKeyValueDeserializationSchema(false), props)) .map(record -> { JsonNode value = record.value(); long timestamp = value.get("timestamp").asLong(); ZonedDateTime zonedDateTime = Instant.ofEpochMilli(timestamp).atZone(ZoneId.of("UTC")); return Row.of(Timestamp.from(zonedDateTime.toInstant()), value.get("key").asText(), value.get("value").asText()); }), $("timestamp"), $("key"), $("value")); ``` 在这个示例中，`JSONKeyValueDeserializationSchema`用于将JSON格式的消息解析为`JsonNode`对象，并且从中获取时间戳。然后，使用`Instant.ofEpochMilli`将时间戳转换为Java 8的`Instant`对象，并将其转换为UTC时间。最后，使用`Timestamp.from`将`Instant`对象转换为Flink SQL Connector所需的`java.sql.Timestamp`类型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值