java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

最新推荐文章于 2022-09-11 01:05:23 发布
最新推荐文章于 2022-09-11 01:05:23 发布
阅读量1.7w 收藏 7
点赞数 1
分类专栏： Big Data 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/langcaiye/article/details/54135489
版权

使用不带hadoop的spark包，在成功启动pyspark前需要在spark的配置文件conf/spark-env.sh里指定hadoop。格式是spark要求好的。

现在以hadoop这个命令已经在环境变量中存在的情况为例，spark-env.sh配置文件里需要增加这么一句：

export SPARK_DIST_CLASSPATH=$(hadoop classpath)


参考官方文档：

https://spark.apache.org/docs/latest/hadoop-provided.html

浪菜叶
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java.lang.NoClassDefFoundError: javax/xml/ws/Service
01-27
jdk升级jdk10后，原本jdk自带的 webservice一些包确实，引起的一系列错误解决方案
jdk10+ java.lang.NoClassDefFoundError: javax/xml/ws/Service 错误
01-27
jdk升级之后出现异常：java.lang.NoClassDefFoundError: javax/xml/ws/Service 1、解决方案jdk降级至1.8之前 2、由于JDK9以后，去除了javax.xml包需要引入对应的jar包 <groupId>javax.activation</groupId> ...
错误解决java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStrea和Under-Replicated Blocks
qq_37135484的博客
03-20 2279
错误解决java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStrea和Under-Replicated Blocks
CDH升级Spark2异常java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
Zsigner的博客
03-12 1273
建议大家还是去原问博客阅读，样式也好看阅读更方便，本人转载仅为个人查阅 https://blog.csdn.net/mlwise/article/details/104652381 最近为了适配客户版本，搭建了CDH5.16版本的数据数据环境。而默认的Spark是1.6版本的，为配合客户需要升级成Spark2，由于机器资源有限制，先把Spark1.6删除了，下载SPARK2-2.1.0.clo...
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
微电子学与固体电子学-俞驰
07-24 1856
    spark-env.sh中加入 export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath)
Flume 报错指南
weixin_50831726的博客
03-11 935
在启动命令flume后：flume-ng agent -n a1 --conf /opt/software/flume160/conf/ -f /opt/flumeconf/file_hdfs.conf -Dflume.root.logger=INFO,console -n 表示重命名 –conf flume的conf目录读取配置文件 -f 读取本次flume执行操作的配置文件（sources、channels、sinks的具体配置） -Dflume.root.logger=INFO,console
flume-ng启动报错: java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
liuwei0376的专栏
07-10 1767
java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configurationflume-ng 启动后错误如下: flume配置 flume数据ETL配置文件: 原因分析 启动flume的serve上没有安装hadoop, 没有配置hadoop的环境变量. 导致flume启动时无法查找到所需的hadoop依赖.export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5 export PATH=PATH:PATH
HDFS客户端读流程
loser与你
10-03 938
HDFS客户端读流程 1.打开HDFS文件  用户读取一个HDFS文件时，首先会调用open()方法打开这个文件，并获取文件对应的FSDataInputStream输入流，然后在这个FSDataInputStream对象上调用read()方法读取数据。 2.从Namenode获取Datanode地址  在DFSInputStream构造方法中，首先会初始化DFSInputStream的属性，然后会调用openInfo()方法从Namenode获取文件对应的数据块位置信息，并将信息保存至其相应字段中。  其首
java.lang.NoClassDefFoundError: javax/validation/valueextraction/ValueExtractorDeclarationException
01-07
java.lang.NoClassDefFoundError: javax/validation/valueextraction/ValueExtractorDeclarationException  今天部署环境遇到这个问题，查了好长时间终于解决了; 问题原因： 由于jar包hibernate-validator、...
java.lang.NoClassDefFoundError: org/jboss/logging/
03-14
NULL 博文链接：https://lym6520.iteye.com/blog/310725
java.lang.NoClassDefFoundError: javax/persistence/EntityListener
04-01
NULL 博文链接：https://lyndon-lin.iteye.com/blog/856002
解决 java.lang.noclassdeffounderror: XXX 相关问题
丿於豪
04-25 731
本文能临时解决所有与noclassdeffounderror相关的报错。 首先说下这个错误，它表示你在运行的时候没有找到这个包，但是我们在编译的时候反而有这个包。这里需要理解下，我们java在编译和运行的时候都会编译jar包，但是你肯定是idea的一些配置有问题，导致运行前编译后的jar包并没有输出到 WEB-INF/lib下面，如果你在WEB-INF/lib下面没有找到报错的包，说明一下方案能解...
搭建Spark所遇过的坑
萌兔兔MMQ！！
09-11 751
不过出了问题再设置一下，也不错。在开发hive和Spark整合的时候，如果是Windows系统，并且没有配置HADOOP_HOME的环境变量，那么可能找不到winutils.exe这个工具，由于使用hive时，对该命令有依赖，所以不要忽视该错误，否则将无法创建HiveContext，一直报Exception in thread “main” java.lang.RuntimeException: java.lang.NullPointerException 因此，解决该办法有两个方式。
hadoop解决Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps
热门推荐
zhangge360的专栏
04-18 2万+
linux+eclipse+本地执行WordCount抛出下面异常： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps。 解决：没有把yarn下的包以及yarn 下的lib目录下的包导入
java.lang.NoClassDefFoundError: org/apache/hadoop/crypto/key/KeyProvider
u013013024的博客
09-29 9723
这个问题一般都是pom文件的jar包依赖包没有依赖common       org.apache.hadoop       hadoop-common       2.7.1
利用 hadoop 的 FileSystem open 方法获取 FSDataInputStream 实现文件下载到本地 Hadoop 版本 2.7.0
点点滴滴 的博客
06-27 5141
利用 hadoop 的 FileSystem open 方法获取 FSDataInputStream 实现文件下载到本地 Hadoop 版本 2.7.0
zz:解决Window环境下启动Hadoop时出现 java.lang.NoClassDefFoundError: org/apache/hadoop/util
missian（高性能异步RPC框架）
12-11 448
原文链接：http://www.blogjava.net/snoics/archive/2010/10/10/333408.html 在Window下启动Hadoop-0.21.0版本时，会出现下面这样的错误提示： java.lang.NoClassDefFoundError: org/apache/hadoop/util/PlatformName Caused by: java.lang....
java.lang.ClassNotFoundException: org.apache.hadoop.fs.CanUnbuffer
Xgx120413的专栏
08-09 1万+
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.o
exception in thread "main" java.lang.noclassdeffounderror: org/apache/hadoop/fs/fsdatainputstream
最新发布
06-28
回答1：</h3><br/>这是一个Java程序中的异常，错误信息为“exception in thread "main" java.lang.noclassdeffounderror: org/apache/hadoop/fs/fsdatainputstream”。这个错误通常是由于缺少某个类库或者类路径设置...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值