HDFS常用操作shell命令

一般使用
bin/hadoop fs 或 bin/hdfs dfs 命令

dfs是fs的实现类。两个命令都是操作HDFS.

常用命令：

#查看
hadoop fs -ls /
#创建目录:-p创建多级目录
hadoop fs -mkdir -p /zx/file 
#从本地剪切文件到HDFS
hadoop fs -moveFromLocal ./tt.txt /zx/file
#从本地拷贝文件到HDFS 和-put命令功能一样
hadoop fs -copyFromLocal ./a.txt /zx/file
hadoop fs -put ...
#查看文件内容
hadoop fs -cat /zx/file/tt.txt

#追加一个文件到已存在的文件末尾
hadoop fs -appendToFile ./t.txt /zx/file/tt.txt

#-chgrp 、-chmod、-chown 和Linux用法一样
#chgrp -R root test
#chown -R root:root test
#chmod a+r test / chmod 666 test

#为tt.tx文件的用户组添加可写权限
hadoop fs -chmod g+w /zx/file/tt.txt


#从HDFS拷贝到本地aa目录下，和get命令一样
hadoop fs -copyToLocal /zx/file/tt.txt ./aa/
hadoop fs -get ...

#-cp ,-mv 拷贝和移动HDFS中的文件
hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt
hadoop fs -mv /zhuge.txt /sanguo/shuguo/

#-du统计文件夹的大小信息
#-rmdir：删除空目录
#-rm：删除文件或文件夹
#-tail：显示一个文件的末尾
#-getmerge：合并下载多个文件，比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,...
hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt

#-setrep：设置HDFS中文件的副本数量
[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10

遇到问题：

2020-06-19 19:52:45,732 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2020-06-19 19:52:45,910 INFO hdfs.DataStreamer: Exception in createBlockOutputStream blk_1073741825_1001
java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as 192.168.43.12:9866
	at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:134)
	at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:110)
	at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1778)
	at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1679)
	at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:716)

需要关闭datanode的防火墙