HDFS(1)(2)——命令行操作

查询指定命令功能

hdfs dfs -help cat

一、命令行命令介绍 

(1) linux服务器 <==> hdfs

#创建多级别文件夹
hdfs dfs -mkdir -p /hgli01/test01

#查看文件夹
hdfs dfs -ls /hgli01

# 剪切文件：-moveFromLocal 本地源文件 hadoop上目标文件
hdfs dfs -moveFromLocal ./test.txt /hgli01/test01/test.txt

# 上传文件到hdfs：-copyFromLocal或者-put 本地源文件 hadoop上目标文件
hdfs dfs -copyFromLocal ./test.txt /hgli01/test01/test.txt
hdfs dfs -put ./test.txt /hgli01/test01/test.txt

#下载到本地 -copyToLocal或者-get hadoop上文件路径 本地目标文件 
hdfs dfs -copyToLocal /hgli01/test01/test.txt /hgli01
hdfs dfs -get /hgli01/test01/test.txt /hgli01


# 给指定文件追加内容： -appendToFile 本地源文件 hadoop上目标文件
hdfs dfs -appendToFile ./appendtext.txt /hgli01/test01/test.txt

# 查看内容
hdfs dfs -cat /hgli01/test01/test.txt

#限制文件上传数量 （实际数量为设置值-1） -clrQuota进行解消限制
hdfs dfsadmin -setQuota 2 /java02
hdfs dfsadmin -clrQuota /java02

#限制文件大小 （实际数量为设置值-1） -clrSpaceQuota进行解消限制大小
hdfs dfsadmin -setSpaceQuota 400m /java02
hdfs dfsadmin -clsSpaceQuota  /java02

 -du统计文件夹的大小信息
[root@linux121 hadoop-2.9.2]$ hadoop fs -du -s -h /user/root/test
[root@linux121 hadoop-2.9.2]$ hadoop fs -du -h /user/root/test


 -chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限

[root@linux121 hadoop-2.9.2]$ hadoop fs -chmod 666 /bigdata/hadoop.txt
[root@linux121 hadoop-2.9.2]$ hadoop fs -chown root:root /bigdata/hadoop.txt


设置HDFS中文件的副本数量
[root@linux121 hadoop-2.9.2]$ hadoop fs -setrep 10 /bigdata/hadoop.txt

HDFS副本数量
这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的
数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。

(2) hdfs <==> hdfs

#hadoop上文件复制 -cp, 移动文件 -mv 
hdfs dfs -cp /hgli01/test01 /test01

#删除文件夹
hdfs dfs -rm -r /hgli01


#归档
把/java02目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/java03路径下。
hadoop  archive -archiveName input.har -p  /java02 /java03

#查看归档详情
hdfs dfs -ls -R har:///java03/input.har

#获取归档文件
hdfs dfs -cp har:///java03/input.har/* /java04


#安全模式（只接受读，不接收写和修改）,NameNode启动默认30s后脱离安全期 ,leave
hdfs dfsadmin -safemode enter 

安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接
受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在
启动的时候会向NameNode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离
开安全模式。如果HDFS出于安全模式下，则文件block不能进行任何的副本复制操作，因此达到
最小的副本数量要求是基于DataNode启动时的状态来判定的，启动时不会再做任何复制（从而达
到最小副本数量要求），HDFS集群刚启动的时候，默认30S钟的时间是出于安全期的，只有过了
30S之后，集群脱离了安全期，然后才可以对集群进行操作。

注：以上为本人小小总结，如果对您起到了一点点帮助，请给予我一点鼓励，在下方点个小小的赞，谢谢，如有错误之处，望不吝指出，非常感谢！