CDH Spark java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

最新推荐文章于 2024-10-09 10:53:13 发布
最新推荐文章于 2024-10-09 10:53:13 发布
阅读量5.7k 收藏 1
点赞数 2
分类专栏： Spark 文章标签： CDH Spark java.lang.NoClassDefFoundError
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wiki347552913/article/details/88605749
版权

在启动pyspark2（CDH版本）时：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

网上搜索到的解决办法，是在Spark的spark-env.sh文件中添加下面语句：

export SPARK_DIST_CLASSPATH=$(hadoop classpath)

但是配置之后发现Spark启动不了，日志里说是找不到hadoop

网上搜索可知，此处的hadoop是hadoop安装目录的bin下的命令，同理跑到CDH安装路径下找到hadoop，输入hadoop classpath
在这里插入图片描述

在spark-env.sh中输入上述路径即可。
在这里插入图片描述

Wiki-
关注
专栏目录
java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream、spark节点无法正常提交任务
v790873的博客
01-26 2610
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream、spark节点无法正常提交任务
cdh运行spark2-shell，hive异常处理
qq_31108731的博客
10-30 1188
1、Cause: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask ; Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.ha...
java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
热门推荐
langcaiye的专栏
01-06 1万+
spark启动报错
Caused by: java.lang.ClassNotFoundException: com/sun/tools/internal/xjc/api/XJC
最新发布
CROSSFIT的博客
10-09 1000
java调用webservice接口报错
java.lang.noclassdeffounderror:org/apache/hadoop/fs/fsdatainputstream
lipote的博客
04-07 4107
hadoop2.5+spark1.4 单机安装的时候，运行spark示例的时候报错 ./run-example org.apache.spark.examples.SparkPi 1 异常信息说明找不到相应的资源jar 修改spark安装目录下的conf/spark-env.sh,添加配置 spark_dist_classpath 问题解决，留存待查。
CDH升级Spark2异常java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
Zsigner的博客
03-12 1313
建议大家还是去原问博客阅读，样式也好看阅读更方便，本人转载仅为个人查阅 https://blog.csdn.net/mlwise/article/details/104652381 最近为了适配客户版本，搭建了CDH5.16版本的数据数据环境。而默认的Spark是1.6版本的，为配合客户需要升级成Spark2，由于机器资源有限制，先把Spark1.6删除了，下载SPARK2-2.1.0.clo...
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
单林敏的博客
01-27 1991
失败源 Spark的版本名称中的“without Hadoop”具有误导性：这意味着该版本不与特定的Hadoop发行版绑定，并不意味着没有hadoop即可运行：用户应指出在哪里可以找到Hadoop 我看到的教程中都是在$SPARK_HOME/conf/spark-env.sh,添加下列行(这下面更具有误导性，也可能是我太笨了,2020春节期间困扰了我好几天) # 编辑spark-env.sh文件(...
CDH5.15 安装spark2,启动spark2-shell 报错
qq_17271593的博客
08-07 1555
各位朋友，谢谢指点！！！ [root@hadoop1 csd]# spark2-shell  Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream     at org.apache.spark.deploy.SparkSubmitArguments$$a...
java.lang.NoClassDefFoundError orgapachehadoopfsFSDataInputStream、spark节点无法正常提交任务
m0_67391907的博客
09-06 1292
以上路径为笔者所使用CDH-hadoop所在路径，
spark常见问题错误 汇总
我丶怀念的的博客
08-13 5649
  一.经验 1.Spark Streaming包含三种计算模式：nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeeper集群 3.Spark一切操作归根结底是对RDD的操作 4.部署Spark任务，不用拷贝整个架包，只需拷贝被修改的文件，然后在目标服务器上编译打包。 5.kafka的log.dirs不要设置成/tmp下的目录，貌似...
启动spark-shell或执行spark-submit失败的问题
u014005893的博客
09-11 3903
启动spark-shell或执行spark-submit失败的问题 楼主搭建了一套CDH大数据平台，其中包括Spark2服务，近来在终端启动spark-shell以及利用spark-submit提交任务时，分别报以下错误： [root@cdh0 ~]# spark-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apac
错误解决java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStrea和Under-Replicated Blocks
qq_37135484的博客
03-20 2555
错误解决java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStrea和Under-Replicated Blocks
spark提交任务报错：java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
anyitian的博客
06-03 1285
官方解释：https://spark.apache.org/docs/latest/hadoop-provided.html 从 Spark 1.4 版本开始，该项目打包了“Hadoop free”版本，让您可以更轻松地将单个 Spark 二进制文件连接到任何 Hadoop 版本。要使用这些构建，您需要修改 SPARK_DIST_CLASSPATH 以包含 Hadoop 的包 jar。最方便的方法是在 conf/spark-env.sh 中添加一个条目。 现在以hadoop这个命令已经在环境变量中存在的情况
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream
weixin_36815898的博客
03-09 4765
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream CDH5.16.2执行spark-submit或者spark-shell 时报错 [root@hadoop103 ~]# spark-submit Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStre
flink启动出现java.lang.NoClassDefFoundError: org/apache/hadoop/fs/Path
微电子学与固体电子学-俞驰
06-13 5649
java.lang.NoClassDefFoundError: org/apache/hadoop/fs/Path at org.apache.flink.yarn.cli.FlinkYarnSessionCli.getLocalFlinkDistPathFromCmd(FlinkYarnSessionCli.java:276) at org.apache.flink.yarn.cli.FlinkYarnSessionCli.applyDescriptorOptionToConfig(Fli...
CDH中搭建Spark遇见的错误
weixin_30359021的博客
03-28 275
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/ FSDataInputStream export SPARK_DIST_CLASSPATH=$(hadoop classpath) 还需要配置上 : Spark 启动java.lang.No...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值