spark-submit运行上传jar包问题

最新推荐文章于 2022-02-28 11:06:19 发布
最新推荐文章于 2022-02-28 11:06:19 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/czz1141979570/article/details/105886389
版权
在hadoop2.7+spark1.2的环境中，使用spark-submit运行jar包时遇到找不到LzoCodec类的问题，原因在于hadoop配置了Lzo压缩但spark未包含相关jar。解决方案是在spark-env.sh中添加hadoop-lzo.jar的路径。此外，还遇到了YARN预占导致Executor退出的问题，通过重启YARN得以解决。
摘要由CSDN通过智能技术生成

问题1：

    hadoop2.7+spark1.2: class not found com.hadoop.compression.lzo.LzoCodec

测试环境，上传jar包，spark-submit运行报上述错误，主要原因是：

hadoop集群的core-site.xml有：

<property><name>io.compression.codec.lzo.class</name>

<value>com.hadoop.compression.lzo.LzoCodec</value></property>

spark on yarn会默认使用集群的编码方式，但是相关的jar包不会自动的添加，需要自己配置，

在  $spark_home/conf/spark-env.sh ，添加 hadoop-lzo.jar（具体路径依据具体情况改变）：

 

 

问题2：

     WARN cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: Executor for container container_1588340787997_0007_01_000002 exited because of a YARN event (e.g., pre-emption) and not because of an error in the running job.<

最低0.47元/天 解锁文章
流一恩典
关注
专栏目录
spark-submit提交jar包的一些问题
qq_43460041的博客
09-14 823
1.代码 object ScalaWordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.setAppName("ScalaWordCount") val sc = new SparkContext(conf) val lineRDD = sc.textFile(args(0)) val wordRDD = lineRDD.flatMap {_.spli
Spark集群中使用spark-submit提交jar任务包实战经验
热门推荐
一路风景
01-03 4万+
转载: 蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验 - cafuc46wingw的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/cafuc46wingw/article/details/45043941 一、所遇问题        由于在IDEA下可以方便快捷地运行
Spark任务提交jar包依赖解决方案
wzq294328238的专栏
08-28 4万+
通常我们将spark任务编写后打包成jar包，使用spark-submit进行提交，因为spark是分布式任务，如果运行机器上没有对应的依赖jar文件就会报ClassNotFound的错误。 下面有三个解决方法：方法一：spark-submit –jars根据spark官网，在提交任务的时候指定–jars，用逗号分开。这样做的缺点是每次都要制定jar包，而且多的时候容易乱。或者不用jars也可使用
spark提交jar包到集群中
AnameJL的博客
09-15 889
这里简单做一个wordcount代码,代码如下 object WordCount { def main(args: Array[String]): Unit = { // 创建SparkConf val conf = new SparkConf().setAppName("WordCount") // 创建SparkContext val sc = new SparkContext(conf) // 通过SparkContext创建RDD val line
spark-submit运行jar包脚本命令
叶不二
08-14 1万+
找到spark-submit文件的目录 目录/spark-submit --master spark://192.168.172.10:7077 --executor-memory 2g --total-executor-cores 10 --driver-memory 4G --class com.test.main.test test.jar参数： --master spark集群
spark 添加依赖_将jar添加到Spark作业 - spark-submit
weixin_39633276的博客
12-21 1167
类路径。ClassPath会受到影响，具体取决于您提供的内容。有几种方法可以在类路径上设置一些东西：spark.driver.extraClassPath或者它是--driver-class-path在运行驱动程序的节点上设置额外类路径的别名。spark.executor.extraClassPath在Worker节点上设置额外的类路径。如果您希望某个JAR在Master和Worker上都有效，...
spark-submit运行jar包
最新发布
06-28
可以使用spark-submit命令来运行jar包，语法如下: ``` spark-submit --class <main-class> --master <master-url> <application-jar> ``` 其中，`<main-class>`是应用程序的入口类，`<master-url>`是Spark集群的URL...
spark相关jar包
06-14
这些jar包通常包括Spark自身的API、Hadoop相关库（因为Spark通常在Hadoop生态系统中运行）、Scala库（Spark是用Scala编写的，因此需要Scala的运行时环境）、以及其他的库如Avro、Parquet、JSON解析库等。这些库允许...
spark下使用submit提交任务后报jar包已存在错误
weixin_30244681的博客
02-20 320
使用spark submit进行任务提交，离线跑数据，提交后的一段时间内可以application可以正常运行。过了一段时间后，就抛出以下错误： org.apache.spark.SparkException: File ./myapplication.jar exists and does not match contents of http://10.28.139.44:33084/...
Spark打包成jar在shell能成功，但以spark-submit却运行失败
qq_43719388的博客
10-28 1566
有的错误确实很莫名其妙 2020-10-28 15:13:21,199 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root); groups with view permissions: Set(); users with modify permissions: Set(root); groups with
spark--IntelliJIdea中jar包提交到spark报错解决
prettysky123的专栏
01-26 875
在IntelliJ上利用Maven开发spark程序，今天遇到一个问题：在IntelliJ上可以运行的程序，利用Bulid Artifacts来打好jar包之后，再用spark-submit 提交运行之后老是报错： $ spark-submit --class MySpark --master local sparktest.jar SLF4J: Class path contains m
spark中spark-submit在yarn中执行spark程序的jar
data_curd的博客
09-08 959
*1、先在idea中打成jar包 1>、在打jar时，一定要把 SparkSession.master("local[2]")注释掉** 2、上传jar到linux中 3、启动spark程序 ** 此命令一定要在spark安装包下执行呢 ** /spark/sbin/start-all.sh 启动完，用jps查看进程 4、启动spark历史服务器 此命令一定要在spark安装包下执行呢 /spark/sbin/start-history-server.sh 5、使用spar...
spark（scala版本）提交jar到集群环境的常见问题
liaomingwu的专栏
02-28 1154
spark（scala版本）提交jar到集群环境的常见问题，包括找不到启动类，不显示运行应用问题 Running Applications (0)的问题和集群环境有的包，pom.xml配置依赖时使用provided。
spark 集群添加jar包 正解
chenfenggang的专栏
06-23 2240
前置 1、先说一下spark-submit 提交命令 ,应该采用 如下路径的spark-submit，因为这样才会读取spark-default.conf >> /opt/cloudera/parcels/CDH/lib/spark/spark-submit 2、如果无法找到正确的路径，采用配置方式 如： spark-submit --class org.apache.spark.examples.SparkPi --master yarn --properties-fil
Spark 提交.jar程序遇到的问题
大师兄你家猴跑啦的博客
12-06 2903
1、缺少驱动类包 Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BONECP" plugin to create a ConnectionPool gave an error : The specified datastore driver ("com.mysql.jdbc.Dri
Spark-submit 提交任务时与spark运行环境 jar 包冲突
weixin_43845733的博客
11-13 1435
在使用 spark-submit --master yarn 提交任务时，发生guava jar包冲突，spark-submit启动时会加载spark安装时自己的 classPath下的jar包， 我使用的是 Apollo，guava-19.0.jar。 Spark ClassPath上的是guava-11.0.2.jar。因此会报 Apollo找不到方法。 因此需要使用spark-sumbit --jars 将自己依赖的 guava-19.0.jar包 提交到spark 执行环境中。 同时–jars .
提交并执行spark的jar包流程及注意事项
Zero小猿的博客
02-16 3596
1. 前言   主要是介绍windows环境下提交并执行spark的jar包流程及注意事项，linux环境提交步骤类似且更直观； 2. 步骤 2.1 打包   我是直接用idea打包，没有用maven。 项目根目录右键 -> Open Module Settings -> Artifacts -> 点击+号 -> JAR -> From modules with dependencies -> 在Main Class里面找到本次需要执行的主类 -> 点击OK
蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验
cafuc46wingw的专栏
04-14 7299
所遇问题：由于在IDEA下可以方便快捷地运行scala程序，所以先前并没有在终端下使用spark-submit提交打包好的jar任务包的习惯，但是其只能在local下执行，在网上搜了好多帖子都不能启动spark集群，由于实验任务紧急只能暂时作罢IDEA下任务提交，改由终端下使用spark-submit提交打包好的jar任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值