Hadoop实用命令

靠谱的和大家分享，以下命令本人均试过哦，如果在你那里不可以一定是存在别的原因，比如Apache hadoop的版本不相同使用的命令行也会有所差异。比如版本是0.x 或者1.x使用命令bin/hadoop hdfs fs -mkdir -p /in，版本是2.x.使用命令bin/hdfs  dfs  -mkdir -p /in。还需要注意的一点是路径的表示问题。. 表示当前目录，..表示上级目录，首先要进入到hdfs的根目录下查看有哪些文件，然后便于操作。

bin/hdfs dfs -ls /. 列出hdfs文件系统根目录下的目录和文件，以下的命令均基于本人的实验环境哦。

1 hadoop version

2 bin/hdfs dfs -ls /cloudwave/log  查看/cloudwave/log目录下的文件

3 bin/hdfs dfs -cat /cloudwave/log/MASTER_LOG_1478590  查看文件MASTER_LOG_1478590的内容

4 bin/hdfs dfs -mkdir -p /cloudwave/log/123.txt  创建空白文件123.txt

5 bin/hdfs dfs -appendToFile /usr/local/cloudwave-ha-3.4.9.backup/my/124.txt /cloudwave/log4/  把文件124.txt 从本地上传到hdfs的目录/cloudwave/log4/下面

6 bin/hdfs dfs -chgrp -R cloudwave /cloudwave/log4/ 修改文件/cloudwave/log4/ 的所属组

7 bin/hdfs dfs -chown -R cloudwave /cloudwave/log4/ 修改文件/cloudwave/log4/ 的权限，修改文件所有者，文件所属组，其他用户的读、写、执行权限

8 bin/hdfs dfs -copyFromLocal /usr/local/cloudwave-ha-3.4.9.backup/my/124.txt /cloudwave/log4/ 从本地把文件124.txt 复制到/cloudwave/log4目录下

9 bin/hdfs dfs -copyToLocal /cloudwave/log/124.txt /usr/local/cloudwave-ha-3.4.9.backup/my/ 从/cloudwave/log目录下把文件124.txt 复制到本地

10 bin/hdfs dfs -count /cloudwave/log/  统计目录/cloudwave/log/ 下的文件及文件夹数目

11 bin/hdfs dfs -cp -f /cloudwave/log/124.txt /cloudwave/log4/  文件系统hdfs下文件124.txt 的复制

12 bin/hdfs dfs -du -h /cloudwave/log4/  统计目录/cloudwave/log4/下的文件及大小

13 hdfs dfs -expunge 清空回收站，文件被删除时，它首先会移到临时目录.Trash/中，当超过延迟时间之后，文件才会被永久删除

14 bin/hdfs dfs -get /cloudwave/log/124.txt /usr/local/cloudwave-ha-3.4.9.backup/  下载文件124.txt 到本地目录

15 bin/hdfs dfs -getmerge /cloudwave/log/124.txt /usr/local/cloudwave-ha-3.4.9.backup/124.txt  合并下载124.txt文件到本地

16 bin/hdfs dfs -lsr /cloudwave/log 循环列出目录/cloudwave/log、子目录及文件信息

17 bin/hdfs dfs -mkdir -p /cloudwave/log5/124.txt 创建文件夹log5以及文件124.txt

18 bin/hdfs dfs -moveFromLocal /usr/local/cloudwave-ha-3.4.9.backup/my/125.txt /cloudwave/log5 从本地剪切文件125.txt到hdfs

19 hdfs dfs -mv URI [URI ...] <dest> 剪切hdfs文件

20 hdfs dfs -put <localsrc> ... <dst> 上传文件

21 hdfs dfs -rm [-skipTrash] URI [URI ...] 删除文件/空白文件夹

22 hdfs dfs -rmr [-skipTrash] URI [URI ...] 递归删除  删除文件及文件夹下的所有文件

23 hdfs dfs -setrep [-R] [-w] <numReplicas> <path> 修改副本数

24 hdfs dfs -stat URI [URI ...] 显示文件统计信息

25 hdfs dfs -tail [-f] URI 查看文件尾部信息

26 hdfs dfs -test -[ezd] URI, 对PATH进行如下类型的检查：-e PATH是否存在，如果PATH存在，返回0，否则返回1 ,-z 文件是否为空，如果长度为0，返回0，否则返回1,-d 是否为目录，如果PATH为目录，返回0，否则返回1.

27 hdfs dfs -text <src> 查看文件内容

28 hdfs dfs -touchz URI [URI ...] 创建长度为0的空文件