解决Ubuntu下使用eclipse操作HDFS出错

最新推荐文章于 2023-11-15 17:58:38 发布
最新推荐文章于 2023-11-15 17:58:38 发布
阅读量539 收藏 2
点赞数
文章标签： eclipse hadoop 大数据 hdfs ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43201710/article/details/105985321
版权

Hadoop版本：3.1.3、
使用eclipse编译出现错误

Class org.apache.hadoop.hdfs.DistributedFileSystem not found

此错误是DistributedFileSystem没有找到，诸如此类什么没有找到很大可能是JAR包妹有导入全。
我的环境中hadoop路径为/usr/local/hadoop/share/hadoop
将此路径下

  • common中的jar包全部导入
  • common/lib下的jar包全部导入
  • hdfs中的jar包全部导入
  • hdfs/lib中的jar包全部导入

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
然后eclipse可正常通过编译
在这里插入图片描述

AinD
关注
Ubuntu下，使用Eclipse配置Hadoop环境并编写MapReduce程序
qq_36908841的博客
07-19 3376
准备工作 希望你在开始之前已经在Linux中安装好了以下几样东西： （1）jdk1.8（最新版的eclipse必须得jdk1.8以上，根据你下的eclipse版本来安装jdk，楼主原来是jdk1.7，后来换成了jdk1.8。如果不知道怎么切换多个jdk请参照文章https://blog.csdn.net/qq_27435059/article/details/80513553） （2）e...
ubuntu,eclipse下用maven创建hadoop项目总结
tony的专栏
11-13 1424
主要参考 http://blog.fens.me/hadoop-maven-eclipse/
eclipse中hdfs客户端程序错误
saizo123的博客
12-31 341
1、出错信息failed on connection exception: java.net.ConnectException 端口号不对 2、Exception in thread “main” org.apache.hadoop.security.AccessControlException: Permission denied: 选中main，右击，Run as>Run Configu...
win10 eclipse连接虚拟机ubuntu中的hdfs
weixin_30314793的博客
09-12 192
1.eclipse安装连接hadoop的插件hadoop-eclipse-plugin-2.6.0（注意自己hadoop的版本） 将该插件放在eclipse安装路径的plugins文件夹中。 ps:我虚拟机中的hadoop是2.7.1版本的，hadoop-eclipse-plugin-2.6.0版本也能用。 2.配置Map/Reduce Locations ...
ubuntu在虚拟机下的安装 ~~~ Hadoop的安装及配置 ~~~ Hdfs中eclipse的安装
weixin_30883311的博客
09-19 260
　 前言 　 　　　　Hadoop是基于Java语言开发的，具有很好跨平台的特性。Hadoop的所要求系统环境适用于Windows，Linux，Mac系统，我们推荐选择使用Linux或Mac系统。而Linux系统则可以在Windows上使用虚拟机或双系统安装使用。如果选择Linux，我们需要首先安装好Linux系统，然后在Linux系统的基础上，安装Hadoop。 　　　　　　在这里我选用的...
win7中的eclipse连接虚拟机中Linux(Ubuntu)的Hadoop (附上配置时遇到的错误和解决的方法)
JimmyLincole的专栏
10-28 3450
参考文档： http://blog.csdn.net/hitwengqi/article/details/8008203 http://my.oschina.net/vigiles/blog/132289 Hadoop的运行模式共有三种： 1、单机模式（standalone）（默认模式） 2、伪分布模式（Pseudo-DistributedMode）（所有的守护进程都在同
ubuntu下操作Hadoop、hdfs、hbase、zookeeper时产生的一些问题及解决办法
MarkLee0419的博客
05-29 332
2019/05/29 1.在终端输入jps时，没有显示Hdfs的DataNode 　　在文件夹中分别找到DataNode 和Namenode的version，将Datanode的version改为与namenode一致的id,保存！ 　　慎用hdfs namenode -format，这个操作只会改namenode的版本号而不会改datanode的，故出现错误。　　在终端输入jps...
使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS
学到的就要教人 赚到的就要给人
09-27 971
本教程介绍的是如何在Ubuntu/CentOS 中使用Eclipse 来开发MapReduce 程序，在Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的MapReduce程序，但毕竟编写代码不方便。使用Eclipse，我们可以直接对HDFS 中的文件进行操作，可以直接运行代码，省去许多繁琐的命令。 注：本教程引用于厦门...
在Ubuntu下使用Eclispe连接hadoop时拒绝链接解决方案总结
JoySeeDog
11-06 5479
Cannot connect to the Map/Reduce location: hadoop1.0.3 Call to ubuntu/192.168.1.111:9000 failed on connection exception: java.net.ConnectException:
Linux（Ubuntu）上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例-2
知而获智，智达高远
02-22 1661
步骤8 Hadoop伪分布式部署配置 Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。 NameNode：namenode 一是管理文件系统文件的元数据信息（包括文件名称、大小、位置、属性、创建时间、修改时间等等）， 二是维护文件到块的对应关系和...
Class org.apache.hadoop.hdfs.DistributedFileSystem not found
qq_43473753的博客
03-20 5036
用最新版本的Hadoop遇到的坑！ 原因是：Class org.apache.hadoop.hdfs.DistributedFileSystem由原本的hadoop-hdfs.2.7.1.jar中迁移到了hadoop-hdfs-client-3.1.1.jar 或更高版本 解决方法一：加载hadoop-hdfs-client-3.1.1.jar 参考：此博客 如果方法一不成功： 解决方法二： ...
No FileSystem for scheme:hdfs and Class org.apache.hadoop.DistributedFileSystem not found
Du939的博客
04-21 3069
在获取 Hadoop 文件系统对象时，如下所示 FileSystem fs = FileSystem.get(hdfsUrl,configuration); 错误一 如果收到以下错误： "No FileSystem for scheme:hdfs" 可以通过在配置中设置以下 2 个属性来解决它 configuration.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem"); configuration.s
Hadoop版本 3.1.2 解决Class org.apache.hadoop.hdfs.DistributedFileSystem not found 的问题
qq_42191492的博客
10-22 4416
进行HDFS编程实践的简单案例 public class HDFSFileIfExist { public static void main(String[] args) { // TODO Auto-generated method stub try{ String fileName = "test"; Configuration conf = new Confi...
报错缺少class(org.apache.hadoop.hdfs.DistributedFileSystem)
最新发布
X_yufei的博客
11-15 494
实则是缺少jar包 hadoop-hdfs-client-3.1.1.3.1.0.0-78.jar。找到对应的jar放到程序的lib中即可。
java.lang.ClassNotFoundException: Class org.apache.hadoop.hdfs.DistributedFileSystem
qq_51682771的博客
11-15 1239
【代码】java.lang.ClassNotFoundException: Class org.apache.hadoop.hdfs.DistributedFileSystem。
hadoop 报错Error: java.io.FileNotFoundException: Path is not a file:/xx1/xx2的解决办法
gywtzh0889的专栏
09-23 6038
主要原因就是hadoop1.x的FileInputFormat.setInputPaths(job, new Path(input)); 在hadoop2.x的环境运行导致的，将上述代码用下面两行代码替换即可：  FileInputFormat.setInputDirRecursive(job, true);  FileInputFormat.addInputPath(job, new Pa
Error: java.io.FileNotFoundException: Path is not a file: /g6/hadoop/20190326
weixin_30701521的博客
03-26 1535
跑mapreduce时，有报错Error: java.io.FileNotFoundException: Path is not a file: /g6/hadoop/20190326，以下是报错内容 19/03/26 21:28:08 INFO mapreduce.Job: map 0% reduce 0%19/03/26 21:28:12 INFO mapreduce.Job: Task I...
class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface
bear
10-22 3330
异常信息： Exception in thread "main" java.lang.IllegalAccessError: class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface org.apache.hadoop.hdfs.web.TokenAspect$TokenManagementDelegator 完整错误信息如下： 解决：在IDEA导出jar包之前，将依赖包中所有hadoop.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值