启动spark-shell或执行spark-submit失败的问题

最新推荐文章于 2024-05-01 15:03:21 发布
最新推荐文章于 2024-05-01 15:03:21 发布
阅读量3.7k 收藏 1
点赞数 2
分类专栏： 计算机 技术 文章标签： spark scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014005893/article/details/108534087
版权

启动spark-shell或执行spark-submit失败的问题

楼主搭建了一套CDH大数据平台，其中包括Spark2服务，近来在终端启动spark-shell以及利用spark-submit提交任务时，分别报以下错误：

[root@cdh0 ~]# spark-shell
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
        at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:123)
        at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:123)
        at scala.Option.getOrElse(Option.scala:120
最低0.47元/天 解锁文章
程序Yuan__
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
spark任务shell运行_spark任务 在spark-shell上能跑，但是在spark-submit上报错
weixin_39834281的博客
01-17 267
请大神，帮我看看这个问题，1.我自己写的WordCount在本地能跑，在spark-shell上能跑，但是在spark-submit上报错2.排除scala版本的问题，本地和集群的scala单位版本都是2.10.43.跑官方的WordCount报错和自己WordCount报错是一样的4.我提交方式是：./spark-submit --master spark://10.1.0.141:7077...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
5. **运行Spark**: Spark可以通过命令行工具启动，例如`spark-shell`（交互式Spark会话）或`pyspark`（Python版本的交互式会话）。对于应用程序开发，可以使用Scala、Java、Python或R编写代码，然后通过`spark-...
启动spark-shell遇到的一些问题
记录
04-12 5361
执行：spark-shell 1、报When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in th environmwnt 原因是没有配置之前在/etc/profile下配置了hadoop的环境变量，但是没有配置HADOOP_CONF_DIR 解决办法： vim /U...
在Ubuntu下运行spark-submit 提交到spark中报错：Error: Failed to load class SimpleApp.2024-05-01 14:30:45,763 IN
最新发布
weixin_45998042的博客
05-01 213
确定代码没有问题，可以运行构建命令mvn clean package命令确保没有错误或警告，这可能会影响构建结果。然后再运行spark-submit提交就可以了。
spark-submit提交失败，请大家帮忙解答
showwinner1的博客
08-10 615
spark
spark-submit：未找到命令
weixin_45528773的博客
05-07 2074
spark-submit在执行过程中出现错误得去bin的目录里面找。
Spark打包成jar在shell能成功，但以spark-submit却运行失败
qq_43719388的博客
10-28 1509
有的错误确实很莫名其妙 2020-10-28 15:13:21,199 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root); groups with view permissions: Set(); users with modify permissions: Set(root); groups with
spark-submit以集群方式提交应用报错：Exception in thread "main" java.sql.SQLException: No suitable driver
GulfMoon
05-15 1608
一、问题背景 因现场项目临近上线，在现场测试环境部署后台程序时候出现各种奇怪的问题，这些都是在公司内部测试环境都没有遇到过的，很有记录下来的必要。 Spark应用程序的主要业务逻辑是将MySQL中表数据全量同步到Spark中，以yarn-client模式提交执行报错： Exception in thread "main" java.sql.SQLException: No suitable ...
spark-2.4.7-bin-hadoop2.6.tgz
03-17
此外，可以通过`spark-submit`脚本提交应用程序到Spark集群执行，或直接在Spark Shell中交互式探索数据。 总结来说，Spark 2.4.7是大数据处理领域的重要工具，它的高性能、易用性和丰富的功能使其在数据科学和工程...
spark-3.0.0-bin-hadoop3.2
02-17
在Windows环境下，你可以通过修改配置文件，设置环境变量，并使用提供的启动脚本来运行Spark Shell、Spark Submit等工具，开始你的大数据处理之旅。 为了充分利用Spark的功能，你需要了解如何配置Spark的运行环境，...
spark-3.2.0-bin-hadoop3-without-hive
04-24
你可以通过解压这个压缩包，配置相应的环境变量，然后启动 Spark Shell 或者 Spark Submit 来运行你的应用程序。需要注意的是，对于没有 Hive 支持的 Spark，你可能需要使用其他方式来实现数据仓库的功能，比如使用 ...
Spark-shell批量命令执行脚本的方法
09-15
今天小编就为大家分享一篇Spark-shell批量命令执行脚本的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
spark-2.4.8-bin-hadoop2.7.tgz
10-25
1. `bin`：包含Spark的可执行脚本，如`spark-shell`、`pyspark`、`spark-submit`等，用于启动Spark应用程序。 2. `conf`：存放配置文件，如`spark-defaults.conf`，用于设置Spark集群的默认配置。 3. `jars`：包含了...
spark-submit提交程序遇到错误，纠正记录
ChengYanan的博客
10-14 1488
时间：2019年10月14日 spark程序按照如下提交任务后报错 ./spark-submit --class com.idengyun.HiveToEs2 \ --conf spark.yarn.executor.memoryOverhead=6144 \ --conf spark.shuffle.io.maxRetries=100 \ --conf spark.shuffle.io.retr...
spark-submit提交应用程序出现的错误
04-27 4653
错误1 18/04/20 20:51:54 ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not parse Master URL: '2' at org.apache.spark.SparkContext$.org$apache$spar...
Spark提交任务时, 版本问题报错
weixin_42528650的博客
02-26 767
问题一: 提交任务到集群时报错 java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror 此异常有可能是以下的情况造成的 1.编译环境的 scala版本和集群上的scala版本不一致 -- 进入spark-shell可以查看控制台输出的scala版本 spark的版本和scala的版本查看下面 2....
spark启动不成功
weixin_65195823的博客
03-16 3256
spark在同一节点启动多个spark master（worker）
spark submit提交任务一直卡在ACCEPTED状态
qq_38250124的博客
07-20 3516
千辛万苦写好代码,打成jar包,spark submit提交运行到yarn 然后默默打开yarn界面查看运行的任务,但是半天不见任务名称,这可就奇了怪了 查看 yarn application --list | grep appName 发现状态一直是accepted 接收正常应该是running,之前的代码也没毛病,也能提交,也能运行 遂检查代码 发现 .setMaster("local[*]") //local本地 本地模式竟然没有注释掉,本地模式只能在本地运行,测试的时候使用,提交到.
在本地cmd中执行Spark-shell报错：Exception in thread “main“ java.lang.ExceptionInInitializerError
qq_64078377的博客
10-10 1077
本地执行spark-shell报错
spark之spark任务的提交方式【spark-shell、spark-submit】
06-28
### 回答1： Spark任务可以通过两种方式进行提交：spark-shell和spark-submit。 1. spark-shell：是Spark提供的交互式命令行工具，可以在命令行中直接输入Spark代码进行交互式计算。在spark-shell中提交任务，可以直接在命令行中输入Spark代码，Spark会自动将代码转换为任务并提交到集群中执行。 2. spark-submit：是Spark提供的命令行工具，可以将打包好的Spark应用程序提交到集群中执行。在使用spark-submit提交任务时，需要先将Spark应用程序打包成jar包，然后通过命令行指定jar包路径和其他参数，Spark会自动将jar包提交到集群中执行。 ### 回答2： Apache Spark是一个开源的大数据处理框架，可以用于分布式处理数据、机器学习等等领域。在使用Spark时，我们需要先编写Spark任务，然后将任务提交给Spark集群进行执行，这可以通过两种方式来实现：spark-shell和spark-submit。 1. spark-shell：spark-shell是Spark自带的交互式命令行工具，可以让用户在命令行中直接执行Spark操作。如果您想对数据进行简单的操作或者试验Spark一些功能，那么使用spark-shell是最佳选择。在spark-shell中，用户可以直接输入Spark操作，例如读取文件、转换RDD等等，同时还可以在命令中设置各种参数来定制化Spark操作。 2. spark-submit：spark-submit是Spark任务的常用提交方式，它是一个命令行工具，需要用户编写一个Spark任务包含的代码文件和相应的依赖文件，然后将这些文件打包成jar包，使用spark-submit来将jar包提交给Spark集群执行。使用spark-submit有许多优点，例如可以将任务提交给集群让其在后台执行、可以设置任务的各种参数（例如内存设置、CPU核心数等）以优化任务执行效率。同时，在生产环境下，使用spark-submit也可以通过将任务提交到生产环境的Spark集群来实现自动化部署、管理和监控。 总而言之，使用spark-shell和spark-submit的选择取决于您希望达到的目的和需求。对于一些简单的数据处理任务或者试验Spark功能来说，使用spark-shell是比较方便的；而对于一些复杂的数据处理任务或者生产环境下的Spark任务来说，建议使用spark-submit来提交任务。 ### 回答3： Spark作为当前最流行的大数据处理框架之一，它可以通过多种方式来提交Spark任务。其中，最常用的两种方式是通过spark-shell和spark-submit提交Spark任务。 1. spark-shell Spark-shell是一个交互式命令行工具，用户可以在其中编写Spark代码，并且即时运行。在使用Spark-shell时，用户不需要将代码打包成JAR文件并将其提交给Spark集群进行执行。 直接在命令行运行spark-shell命令即可进入Spark-shell交互式命令行界面。在Spark-shell中，用户可以与Spark进行交互，包括创建RDD、进行数据转换和操作等。 2. spark-submit Spark-submit是一个命令行工具，它可以将用户编写的Spark代码打包成JAR文件，并且将该JAR文件提交给Spark集群进行执行。用户可以通过spark-submit命令来提交Spark任务。在提交任务时，用户需要指定JAR文件的路径、主类名以及其他执行参数。具体命令格式如下： ``` ./bin/spark-submit --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value> \ <application-jar> \ [application-arguments] ``` 其中，参数解释如下： - --class：指定主类名。 - --master：指定Spark集群的URL。 - --deploy-mode：指定任务的部署模式，通常有两种，即client模式和cluster模式。 - --conf：指定Spark配置参数。 - <application-jar>：指定需要提交的JAR文件路径。 - [application-arguments]：指定程序运行时的一些参数。 总的来说，虽然spark-shell和spark-submit都可以用于提交Spark任务，但是它们具有不同的优缺点。spark-shell相对于spark-submit来说更加适合小规模的数据处理和代码调试，而对于大规模数据处理任务，则建议使用spark-submit来提交任务，以获得更高的执行效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值