HDFS常用命令整理

一、hdfs基本操作
hadoop fs 与hdfs dfs等价

1.如何查看hdfs子命令的帮助信息,如ls

hdfs dfs -help rmdir

2.查看hdfs文件系统中已经存在的文件

hdfs dfs -ls /

hadoop fs -ls /

3.在hdfs文件系统中创建文件

hdfs dfs -touch /czz.txt

4.从本地路径上传文件到hdfs

hdfs dfs -put /本地路径 /hdfs路径

hdfs dfs -put /home/czz/czz.txt /czz

5.从hdfs文件系统中下载文件到本地

hdfs dfs -get /hdfs路径 /本地路径

hdfs dfs -get /czz /home/czz/czz.txt

6.在hdfs文件系统中删除文件

hdfs dfs -rm /czz.txt

7.在hdfs文件系统中查看文件内容

hdfs dfs -cat /czz.txt

8.在hdfs文件系统中创建目录

hdfs dfs -mkdir /czz

9.在hdfs文件系统中修改文件名称(或者移动文件到目录)

hdfs dfs -mv /czz.txt /nl.txt

hdfs dfs -mv /czz.txt /nl

10.在hdfs文件系统中拷贝文件到目录

hdfs dfs -cp /czz.txt /nl

11.递归删除目录

hdfs dfs -rmr /czz

12.列出本地文件的内容(默认是hdfs文件系统)

hdfs dfs -ls file:///home/admin

13.追加文件内容到hdfs文件系统中的文件

hdfs dfs -appendToFile czz2.txt /czz/czz.txt

二、hdfs与dfsadmin结合操作
1.查看hdfs与dfsadmin的帮助信息

hdfs dfsadmin

2.查看当前的模式

hdfs dfsadmin -safemode -get

3.进入安全模式

hdfs dfsadmin -safemode -enter

4.离开安全模式

hdfs dfsadmin -safemode -leave

三、hdfs与getconf结合操作
1.获取NameNode的节点名称(可能多个)

hdfs getconf -namenodes

2.获取hdfs最小块信息

hdfs getconf -confkey dfs.namenode.fs-limits.min-block-size

3.查找hdfs的NameNode的RPC地址

hdfs getconf -nnRpcAddresses

四、hdfs与fsck结合操作
1.fsck指令显示hdfs块信息

hdfs fsck / -files -blocks

五、其他命令操作
1.检查压缩库本地安装情况

hadoop checknative

2.格式化名称节点(慎用!!! 一般只在初次搭建集群,使用一次)

hadoop namenode -format

注意：格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。

$ cat data/tmp/dfs/name/current/VERSION

clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

$ cat data/tmp/dfs/data/current/

clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

3.执行自定义jar包

hadoop jar XXXjar包 执行命令 输入路径 输出路径

hadoop jar XXXX.jar WordCount /world.txt /out