spark 提交任务到yarn 报错

最新推荐文章于 2022-03-08 09:07:13 发布

shuai_fan

最新推荐文章于 2022-03-08 09:07:13 发布

阅读量613

点赞数

文章标签： spark

本文链接：https://blog.csdn.net/shuai_fan/article/details/82427232

版权

报错信息:scala.reflect.api.JavaUniverse.runtimeMirror

原因:scala版本问题,jar包中的scala版本与spark集群中的版本不一致

解决:将jar包中的scala 版本 2.11.0 换成 2.10.5 ,重新打包执行

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

shuai_fan

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

【Flink】Flink 提交任务到yarn报错 proxy provider ConfiguredFailoverProxyProvider NetUtils.getSocketAddressS

九师兄

03-10

813

1.概述 Flink 提交任务到yarn报错 Couldn't create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider NetUtils.getSocketAddressString(Ljava/net/InetSocketAddress;)Ljava/lang/String; 环境如下 yarn版本如下然后我的flink包内容如下 [root@xxx ru

Spark>提交Yarn集群报错异常

qq_44509920的博客

04-11

823

文章目录如果整合Yarn报错或无法查看log需做如下操作配置历史日志服务器异常二：如果整合Yarn报错或无法查看log需做如下操作 1.修改hadoop的yarn-site.xml vim /export/servers/hadoop/etc/hadoop/yarn-site.xml <property> <name>yarn.res...

参与评论您还未登录，请先登录后发表或查看评论

spark提交到yarn_spark-submit提交任务到yarn错误

weixin_42208552的博客

12-29

743

1.Error initializing SparkContext.20/06/29 05:52:43 INFO yarn.Client: Deleted staging directory hdfs://master:9000/user/hadoop/.sparkStaging/application_1593402611188_000320/06/29 05:52:43 ERROR spark...

spark on yarn 无法提交任务问题

weixin_30588827的博客

09-13

259

java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig spark任务提交出错。原因： spark-2.0后jersey升级到了ver2.x版本，但实际使用时还需要1.x。导致报错。解决办法：利用maven或sbt进行打包，包含jersey依赖。得到jersey-bundle-1.17....

spark提交到yarn_spark任务提交到yarn上运行报错

weixin_32280593的博客

01-12

276

1、报错信息java.sql.SQLException: No suitable driverat java.sql.DriverManager.getDriver(DriverManager.java:315)at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$7.apply(JDBCOptions.sc...

Spark on Yarn 在cdh集群中运行报错 Required executor memory

storm_fury

11-09

2845

Run on a YARN cluster spark-submit \ --class com.hnb.data.UserKeyOpLog \ --master yarn \ --deploy-mode cluster \ --executor-memory 128M \ --num-executors 2 \ lib/original-dataceter-spark.jar \ args...

hive跑jar包错误 ERROR yarn.Client: Failed to contact YARN for application application_164669786829

这个人很懒什么都没有留下

03-08

3243

22/03/08 09:02:48 ERROR yarn.Client: Failed to contact YARN for application application_1646697868297_0008. java.io.InterruptedIOException: Call interrupted 隔一分钟在重新跑一次即可

Spark任务提交至YARN运行的3种方式与Mapreduce提交任务的几种形式

xby18772963985的博客

01-06

2357

Spark作为新一代计算平台的闪亮明星，在我们的大数据平台中具有非常重要的作用，SQL查询、流计算和机器学习等场景都能见到它的身影，可以说平台应用的数据处理、计算和挖掘等场景都可以使用Spark进行开发。在默认的情况下，如果想向Spark提交计算任务，通常会使用Spark提供的Spark-Submit脚本来提交含有业务逻辑的jar文件程序。这种方式虽然简单，但有悖于服务化的设计理念，所以需要为Spark提供一套任务管理的RESTful服务。在大数据平台中，Spark是以Spark on YARN的方式运行

Spark on Yarn 任务提交流程源码分析

10-21

518

流程分析，以作备忘： shell调用org.apache.spark.deploy.SparkSubmit > org.apache.spark.deploy.yarn.Client 打开org....

maven打包插件

allure

10-24

238

maven打包插件 <build> <pluginManagement> <plugins>  <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-ma...

spark-submit提交程序遇到错误，纠正记录

ChengYanan的博客

10-14

1535

时间：2019年10月14日 spark程序按照如下提交任务后报错 ./spark-submit --class com.idengyun.HiveToEs2 \ --conf spark.yarn.executor.memoryOverhead=6144 \ --conf spark.shuffle.io.maxRetries=100 \ --conf spark.shuffle.io.retr...

spark-submit报错

和静清寂

07-26

4056

#!/bin/bash set -e /opt/app/spark-2.2.0/bin/spark-submit \ --master yarn \ --deploy-mode client \ --executor-memory 18G \ --num-executors 50 \ --executor-cores 5 \ --driver-mem...

yarn client中的一个BUG的修复

weixin_30654583的博客

11-21

214

org.apache.spark.deploy.yarn.Client.scala中的monitorApplication方法： /** * Report the state of an application until it has exited, either successfully or * due to some failure, then return ...

记一次YarnClient使用过程中遇到的问题

weixin_42305433的博客

06-27

662

问题现象： yarnClient通过kerbroes认证，查询nodereport正常，但是当使用getApplications时，查询失败，日志中提示从客户端发送给RM的protobuff格式不对，在RM产生了异常信息。 ...

spark-shell --master yarn-client(异常已经解决)