Eclipse下创建hadoop项目-----创建HDFS文件和上传资源至HDFS

32 篇文章 0 订阅

打开Eclipse,新建java project,将相关的hadoop包导入lib,

具体方法见:https://blog.csdn.net/qq_25948717/article/details/80428129

选中lib下的所有jar包,右键,Add to Build Path,即可把所有jar包添加到path环境中,Reference中可以看到。

创建com.hdfs包,新建mkdirHdfsFile.class


在右边选中要运行的testMkdir(),右键-->Run As--->Junit Test.Console显示成功,

注意设置登陆用户要和hadoop安装目录的所属用户一致。否则会因为权限问题失败

在terminal中输入hadoop fs -ls /可以看到所创建的文件


上传资源至hdfs系统:


命令查看:


注意:hdfs系统中的/和我们本地的/不一样,上传的文件已经分块存在磁盘中了,只有通过hdfs命令才能看上传后的资源名

            通过linux名只能看到资源分块编号:

            

hdfs是假设在linux系统文件之上,通过linux无法查看:


即:在hadoop启动的情况下,通过创建java项目,使用haddop的jar包,可以对本地的hdfs文件系统进行操作。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值