hdfs常用指令集

hdfs常用指令集

HDFS指令主要用于在HDFS软件系统中对文件夹和文件进行操作处理，其大部分指令和Linux shell指令类似，此处仅列举常用HDFS指令。
    对于初学者要知道hdfs指令是不能直接在终端中执行的，需要先创建并启动Hadoop集群，然后在集群中测试或运行这些指令，创建Hadoop集群可以参照我之前发的这两篇博客。
在Deepin(深度)操作系统上使用docker在idea中搭建一个简单的Hadoop集群(一)
在Deepin(深度)操作系统上使用docker在idea中搭建一个简单的Hadoop集群(二)

HDFS指令格式

$ hdfs dfs -参数 #新版，推荐使用
$ hdfs fs -参数 #老版本，未来将被完全淘汰

HDFS常用指令：

1.创建空目录：

$ hdfs dfs -mkdir /demo #创建名为demo的目录

2.查看某目录中的文件和子文件夹：

$ hdfs dfs -ls /user #查看user目录中的所有内容

3.递归查看该文件夹及其子文件夹下所有的文件：

$ hdfs dfs -ls -R /user #查看user目录及其子目录中的所有内容

4.将Linux系统中的文件上传到HDFS文件系统中:

$ hdfs dfs -put /ppt/c/* /user/wang #将/ppt/c中的全部文件上传到hdfs中的/user/wang中

5.将本地文件中的内容追加至hdfs的文件中:

$ hdfs dfs -appendToFile /opt/a.txt /test/a.txt 

6.查看hdfs系统中文件的MD5值:

$ hdfs dfs -checksum /test/asd.txt

7.查看文件/文件夹的大小:

$ hdfs dfs -du filepath
$ hdfs dfs -du -h filepath #-h为人类友好显示带单位

8.将HDFS中的文件下载到本地：

$ hdfs dfs -get filepath1 filepath2 #filepath1为hdfs中的路径，filepath2为要下载到的本地路径

9.查看hdfs文件系统中某文件的内容：

$ hdfs dfs -cat /user/bit/a.txt #/user/bit/a.txt为示例路径

10.列出文件结尾处1KB的文件内容：

$ hdfs dfs -tail filepath #filepath为文件路径

11.修改文件名或移动位置：

$ hdfs dfs -mv filename1 filename2 #重命名
$ hdfs dfs -mv filename 目录1 # 将某文件移动到某目录

12.复制文件：

$ hdfs dfs -cp 路径1 路径2 #将以路径1为路径的文件复制到以路径2为路径的文件，如没有路径2则创建

13.查找名字为test1的文件的位置:

$ hdfs dfs -find test1

14.删除空目录：

$ hdfs dfs -rmdir /asd

15.删除文件：

$ hdfs dfs -rm filename

16。递归删除非空目录：

$ hdfs dfs -rmr 目录

17.查看HDFS文件系统的磁盘使用情况：

$ hdfs dfs -df