spark-Shell 启动报错的坑

最新推荐文章于 2022-05-23 22:45:45 发布
最新推荐文章于 2022-05-23 22:45:45 发布
阅读量2.7k 收藏 1
点赞数 2
分类专栏： 大数据 编程 python基础 hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41018467/article/details/89308450
版权
编程 同时被 3 个专栏收录
11 篇文章 1 订阅
订阅专栏
大数据
8 篇文章 0 订阅
订阅专栏
python基础
7 篇文章 1 订阅
订阅专栏

部署spark版本2.4.1（包为spark-2.4.1-bin-without-hadoop.tgz）时，启动spark-shell报错

错误信息是：Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpaceAfterFullCompletion(Z)V，查了一下午，发现可能是spark2.4.1的bug

详细看：

http://mail-archives.apache.org/mod_mbox/spark-issues/201810.mbox/%3CJIRA.13192953.1539979697000.165392.1540166400377@Atlassian.JIRA%3E

 

解决办法：换到spark2.3.3版本，启动正常

 

 

 

木土a
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark 启动Spark Shell环境出错
m0_65893781的博客
10-31 1771
Spark 启动Spark Shell环境出错 Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpaceAfterFullCompletion(Z)V
spark-shell启动报错--无法连接master
weixin_43079984的博客
02-24 1889
①spark standalone模式无法启动，连接master失败，但是集群用jps查看时，master明明已经启动。 ②spark-shell on yarn启动时，无法创建sc。 原因：通过hadoop104:8080查看master节点时，master节点的状态为standby，说明集群中目前没有master提供服务。 ...
spark-shell启动报错解决办法
hsg77的专栏
01-03 4890
spark-shell启动报错解决办法: scala版本不兼容问题 这是因为加入了项目依赖库到/usr/cwgis/app/spark/jars/lib/中 删除相关的scala开头的jar文件即可启动spark-shell [root@node111 ~]# runCmd.sh "rm /usr/cwgis/app/spark/jars/lib/scala*.jar" all ...
Spark启动错误Exception in thread “main” java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$
漫游学海之旅
10-22 1万+
1   错误 [error] (run-main-0) java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet; java.lang.NoSuchMethodError: scala.collection.immutable.HashS
spark-shell报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSData
weixin_43390992的博客
07-10 3328
CDH spark-shell 报错： spark-shell报错：Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream 环境： openSUSE42.2 spark1.6.0-cdh5.15.1 Hadoop 2.6.0-cdh5.15.1 按照网上的...
java方法报错:Exception in thread “main“ java.lang.NoSuchMethodError
小白要上天
10-16 8946
今天编程又碰到了这个异常。以前碰到了也很少总结，今天就来说一下这个异常发生的几种情况： (1).第一个常见原因jar包中确实没有这个方法，所以虚拟机根本没有加载这个方法。 (2).第二个常见原因是jar包冲突了。导致虚拟机不知道加载哪一个，所以就导致了加载失败，从而找不到这个方法。 (3).第三个，也许就是包含在第二种情况中，该方法只有抽象定义，而没有具体实现。我今天的遇到的是第二种吧。 ...
spark-shell启动
04-28
本文档详细的介绍了spark的shell启动命令，具体细节等要求
Win10下spark-shell报错处理-附件资源
03-02
Win10下spark-shell报错处理-附件资源
Spark启动过程中遇到的错误 ./spark-shell –master spark://node001:7077
01-20
./spark-shell --master spark://node001:7077 --driver-memory 512M ``` 3. **验证配置**： - 重新启动Spark Shell后，确保错误不再出现。如果仍然出现问题，可能需要检查其他相关配置，如JVM堆大小、操作系统...
Spark-shell批量命令执行脚本的方法
09-15
接着，使用`exec`命令启动`$SPARK_HOME/bin/spark-shell`，并传入一系列参数，例如队列名称、应用程序名称、执行器核心数、内存大小以及配置项等。 在`!EOF`和`!EOF`之间的部分，我们可以写入Spark SQL或DataFrame...
Spark安装出错问题
pengfeijiuwanli的博客
04-07 2902
Spark安装出错问题 1.环境 1.centos 7.0版本 2.jdk 1.8 3.hadoop 2.9.3 4.spark 2.4.3 spark-2.4.3-bin-without-hadoop.tgz 2.出现的问题 1.Spark-shell终端出错 报错 Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintS
解决hbase shell 启动失败问题-hbase 2.4.12-hadoop 3.3.1
韦不二的博客
05-23 3960
1. 方案 看hbase官网这两个版本应该是兼容的，但是实际上有包冲突，解决方案是用hadoop包替换hbase的包。 hbase 2.4.12 hadoop 3.3.1 2.报错 2.1 启动hbase shell 报错 java.lang.NoSuchMethodError: jline.console.completer---- (base) [root@node001 logs]# hbase shell LoadError: load error: irb/completion -- java.l
java.lang.NoSuchMethodError异常原因及解决办法
weixin_56668422的博客
03-10 2万+
原因 第一种简单的情况就是本类中需要调用的方法名称错误，这种情况就需要去检查方法名称是否正确，避免调用的方法和本类中的有相同的名称。 第二种情况就是jar包的问题 可能是jar包没有导入进来或者jar包导入错误，导致出现异常。 可能是jar包冲突问题，项目中不同的jar之间版本不同，导致产生了冲突，需要更换jar包的版本 在maven项目中，当发生了jar包冲突，并且已经更换了jar包版本，当启动Tomcat后，服务器还是无法启动，报异常，这时候可以去删除target目录，然后重新启动服务器。
Linux相关的Spark的安装
qq_40828705的博客
11-23 154
@MBY 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 20191122 #复习 [root@CentOS ~]# vi /etc/hosts — 修改主机名与IP地址的映射关系 [root@CentOS ~]# vi /etc/s...
Exception in thread "main" java.lang.NoSuchMethodError
热门推荐
yzl_8877的博客
11-18 7万+
今天编程又碰到了这个异常。以前碰到了也很少总结，今天就来说一下这个异常发生的几种情况： (1).第一个常见原因jar包中确实没有这个方法，所以虚拟机根本没有加载这个方法。 (2).第二个常见原因是jar包冲突了。导致虚拟机不知道加载哪一个，所以就导致了加载失败，从而找不到这个方法。 (3).第三个，也许就是包含在第二种情况中，该方法只有抽象定义，而没有具体实现。我今天的遇到的是第二种吧。
在linux执行java程序报错：Exception in thread "main" java.lang.NoSuchMethodError:
编程爱好者
04-30 9115
环境 IDEA Ultimate 2018.3 MAVEN 3.5.4 背景 将maven工程打包成jar（不包含第三方jar包），放到linux主机上执行，指定第三方jar路径，命令如下： nohup java -Djava.ext.dirs=/usr/java/jdk1.8.0_181-cloudera/jre/lib/ext:/dev/shm/testMetrics/lib -jar si...
spark启动spark-shell报错
最新发布
04-29
当启动Spark Shell时，可能会遇到各种错误。以下是一些常见的错误和解决方法： 1. 错误：`java.lang.OutOfMemoryError: Java heap space` 解决方法：增加堆内存大小。可以通过设置`spark.driver.memory`和`spark.executor.memory`来增加内存大小。例如，可以使用以下命令启动Spark Shell： ``` spark-shell --driver-memory 4g --executor-memory 4g ``` 2. 错误：`java.lang.ClassNotFoundException: org.apache.spark.sql.hive.HiveContext` 解决方法：这个错误通常是由于缺少Hive相关的依赖库引起的。请确保在启动Spark Shell时包含了正确的Hive依赖。例如，可以使用以下命令启动Spark Shell： ``` spark-shell --packages org.apache.spark:spark-hive_2.12:3.1.2 ``` 3. 错误：`java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem` 解决方法：这个错误通常是由于Spark配置文件中的一些错误引起的。请检查`spark-defaults.conf`文件中的配置项是否正确，并确保Spark的配置文件没有任何语法错误。 4. 错误：`java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream` 解决方法：这个错误通常是由于缺少Hadoop相关的依赖库引起的。请确保在启动Spark Shell时包含了正确的Hadoop依赖。例如，可以使用以下命令启动Spark Shell： ``` spark-shell --packages org.apache.hadoop:hadoop-client:3.2.0 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值