eclipse导入android项目 文件变为0kb,eclipse 通过插件向hdfs上传文件遇到一个很坑的问题...

这个问题害我纠结了一天,具体情况是这样的,我通过eclipse for hadoop 插件向master hdfs主机上传文件,然后做一个测试。 至于环境搭建和怎么配置插件我这里就不着重讲了,我通过插件连接上了master的hdfs,我再上面新建文件夹,后面我把一个测试文件通过插件进行上传,发现上传到hdfs上的文件大小仅为0kb,我勒个去甚是郁闷啊!!! 各种百度,修改配置文件试了很多次发现问题依旧如此,后来无意间我发现之前装过其他版本的hadoop,尼玛,终于搞懂了。

这是我eclipse上传到hdfs文件状态 大小为0kb

3e4346c8d1e3878d3b13e8e19bb0dd12.png

接下来列举下解决问题得步骤:

1.查看hdfs-site.xml,已经设置hdfs的访问控制设为false.3ecb87099a66d8c0ddd9e18a52ee5bfc.png2.查看hdfs的文件目录权限:b8b05fac6247294c17d7a2fcdd0fc687.png已执行:

bin/Hadoop fs -chmod 777

3.修改windows本地帐户

972fdb20a100ce8a076b277e2957278e.png4.检查hdfs能否本地上传bin/hadoop fs -put Test_1 /home/hadoop/inda76354855fba38f4f86abfcc7759df9.png可以上传5.检查eclipse的配置端口:77bdc177805f55fc45162bd2dadcce0f.png和core-site.xml的一致:b148c792426a7ee9624e06885f456938.png做完以上5个步骤,问题依然没有解决。发现不同的方式上传的文件属性不同

f088605f292f5076b1dc08f6ffc7df30.png 不知道是什么原因?6.检查seLinux是否禁用(这步请谨慎修改,修改了很可能造成linux启动不起来,我这步没有做)

禁用selinux编辑

"/etc/selinux/config"文件,设置"SELINUX=disabled"

最后:

在root权限下:关闭防火墙:/sbin/service

iptables stop 关闭防火墙这步很关键 记得关闭集群中所有机器防火墙~~~~重启

reboot

7.重启后,重启hadoop将Test_1文件上传到hdfs中在本地可以看到文件内容a0af0325bd24915de8786423934f4eca.png

ok 到了这一步基本上没什么问题了,我们返回eclipse通过插件看看文件大小

c862b377fc2d4f1a372bc41522fc6cce.png

大小大于0kb  证明我们上传文件到hdfs是成功了的

接下来我着重分析下我的解决方法:

1   由于我的hadoop装过两个版本,前期是装的hadoop 2.6.2 版本  后面为了学习我选择hadoop1.2.1

由于多次格式化造成的,导致datanode没有启动成功,只要将temp下的tmp文件夹以及dfs下的data、name文件夹清空,然后重新格式化,然后启动集群就可以成功上传文件了

2 切忌一定要关闭集群中所有节点的防火墙,因为上传文件需要检测防火墙是否开启,如果防火墙开启上传文件是会有问题的。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值