大数据存储与处理——hadoop的hdfs命令的使用

本文详细介绍了Hadoop HDFS的常用命令,包括创建目录、列出目录、文件上传下载、复制删除等操作,并重点讨论了在使用过程中遇到的问题及解决方法,如集群配置错误、文件复制失败等,强调了正确配置和同步Hadoop包的重要性。
摘要由CSDN通过智能技术生成

1:创建HDFS目录
例子: hadoop fs -mkdir /user 建立user 文件夹

2:列出HDFS目录
例子:hadoop fs -ls / 查看根文件目录

3:本地文件 HDFS文件夹:上传文件
hadoop fs -copyFromLocal /root/1.txt /user

hadoop fs -copyFromLocal /root/1.txt /user 如果文件已经存在,则不会复制。
仍要复制,则强制复制
hadoop fs -f -copyFromLocal /root/1.txt /user

4:put上传
hadoop fs -put /root/1.txt /user 也为复制,但是可以接收标准输入
ls | hadoop fs -put - /user/3.txt:将本地文件目录存储到hdfs的3.txt文件中

5:hadoop fs -cat /user/1.txt
显示hdfs文件的具体内容

6:从hdfs到本地文件:
hadoop fs -copyToLocal /user/3.txt

7:hdfs的复制与删除:
hadoop fs -cp /user/3.txt /user1 复制文件
hadoop fs -rm /user1/3.txt 删除文件
hadoop fs -rm -R/user1 强制删除目录

在这里必须要记录我的辛酸泪
hadoop fs -copyFromLocal /root/1.txt /user

上传的时候,提示我们
File /test/test.txt.COPYING could only be rep

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值