Ubuntu安装eclipse配置Hadoop踩坑

本文没有详细的安装配置步骤,只有一些坑爹的问题

1.eclipse中DFS location提示Connection Refused,确认Hadoop已经开启了

a.根据提示打开了这个网页,一条条核对:https://wiki.apache.org/hadoop/ConnectionRefused

   尝试第七条On the server, try a telnet localhost <port> to see if the port is open there.时发现问题

   使用telnet localhost 9000命令

   发现Connection Refused,于是问题转向9000端口拒绝访问

b.使用netstat -napt命令查看开放的端口,发现没有9000,问题转向启动Hadoop后9000端口没有打开

   对照网上确认了配置文件,最后尝试一篇博客得到解决:https://www.cnblogs.com/xiaoli2018/p/4936905.html

   出现9000端口拒绝访问的情况有可能是防火墙没有开放9000端口,可以选择关闭防火墙或者卸载防火墙,如果还是无法解决这种情况可能是因为hadoop的启动顺序不对。

   应该按照如下得顺序启动

   Step2: cd #your_hadoop_path

   Step3: ./bin/hadoop namenode -format

   Step4: ./sbin/start-all.sh

   9000端口成功开放

2.但是dfs文件夹为空

a.尝试上传文件,失败

修改hdfs文件,增加权限设置

可以上传文件,但文件夹只有上传的文件,系统中未搜索到该文件

本来觉得是配置文件没写对,但看着没什么问题

使用命令查看dfs目录,只有上传的文件存在

尝试运行了wordcount项目,能够运行成功,可能本来文件夹就是空的,运行完才有那些文件和文件夹

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值