Hadoop教程(三)HDFS文件系统Shell命令

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yuan_xw/article/details/50202381

 

 

Hadoop教程()HDFS文件系统Shell命令

 


1 Hadoop- Shell命令

HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linuxshell对文件的操作,如lsmkdirrm等。

 

1.1 Shell命令格式

调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,schemehdfs,对本地文件系统,schemefile。其中schemeauthority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更简单的/parent/child(假设你配置文件中的默认值是namenode:namenodeport)。大多数FS Shell命令的行为和对应的Unix Shell命令类似,不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr,其他信息输出到stdout

 

1.2 hadoop fs帮助命令

在命令行执行:hadoop fs,查看fs命令:


 

1.3 –mkdir创建空白文件夹

-mkdir:创建空白文件夹,该命令选项表示创建文件夹,后面跟的路径是在hdfs将要创建的文件夹:

语法:

hadoop fs -mkdir /hadoop

hadoop fs -mkdirhdfs://Hadoop1:9000/hadoop/dir1 hdfs://Hadoop1:9000/hadoop/dir2

 

返回值:成功返回0,失败返回-1


 

1.4 –put 上传文件

-put:该命令选项表示把linux上的文件复制到hdfs中:

语法:

hadoop fs -put LICENSE.txt/hadoop/LICENSE.txt

 

hadoop fs -putlogs/hadoop-root-namenode-Hadoop1.log logs/yarn-root-nodemanager-Hadoop1.log/hadoop/

 

hadoop fs -putlogs/hadoop-root-namenode-Hadoop1.out hdfs://Hadoop1:9000/hadoop/

 

返回值:成功返回0,失败返回-1


1.5 –copyFromLocal上传文件

-copyFromLocal:该命令除了限定源路径是一个本地文件外,操作与-put一致。

语法:

hadoop fs -copyFromLocallogs/yarn-root-nodemanager-Hadoop1.out /hadoop/


 

1.6 –ls显示当前目录结构

-ls:该命令选项表示查看指定路径的当前目录结构,参数:-R递归显示目录结构,后面跟hdfs路径:

语法:

hadoop fs -ls /

hadoop fs -ls hdfs://Hadoop1:9000/hadoop/

hadoop fs -ls -R hdfs://Hadoop1:9000/

返回值:成功返回0,失败返回-1



 

1.7 –get递归显示当前目录结构

-get:复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息:

语法:

hadoop fs -get/hadoop/hadoop-root-namenode-Hadoop1.out /home/hadoop-root-namenode-Hadoop1.out

 

hadoop fs -get /hadoop/hadoop-root-namenode-Hadoop1.out/home/hadoop-root-namenode-Hadoop1.out

返回值:成功返回0,失败返回-1


1.8 –du统计目录下各文件大小

-du:显示目录中所有文件的大小,或者当只指定一个文件时,显示此文件的大小

语法:

hadoop fs –du /hadoop

hadoop fs –du -s /hadoop

返回值:成功返回0,失败返回-1


 

1.9 -count统计文件()数量

-count:该命令选项显示指定路径下的文件夹数量、文件数量、文件总大小信息

语法:

hadoop fs -count  /hadoop


 

1.10 –mv移动

-mv:将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件

语法:

hadoop fs -mv/hadoop/hadoop-root-namenode-Hadoop1.log /hadoop/dir1

返回值:成功返回0,失败返回-1


 

1.11 –cp复制

-cp:将文件从源路径复制到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录

语法:

hadoop fs -cp/hadoop/hadoop-root-namenode-Hadoop1.out /hadoop/dir2

hadoop fs -cp/hadoop/yarn-root-nodemanager-Hadoop1.log /hadoop/yarn-root-nodemanager-Hadoop1.out/hadoop/dir2

返回值:成功返回0,失败返回-1


 

1.12 -moveFromLocal从本地移动

-moveFromLocal:将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件

语法:

hadoop fs -moveFromLocal /home/localfile1.txt  /hadoop

返回值:成功返回0,失败返回-1


 

1.13 -getmerge合并到本地

-moveFromLocal:该命令选项的含义是把hdfs指定目录下的所有文件内容合并到本地linux的文件中将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件:

语法:

hadoop fs -getmerge /hadoop//home/localfile2.txt

返回值:成功返回0,失败返回-1


 

1.14 –cat查看文件内容

-cat:将路径指定文件的内容输出到stdout:

语法:

hadoop fs -cat/hadoop/yarn-root-nodemanager-Hadoop1.log

返回值:成功返回0,失败返回-1


 

1.15 –text查看文件内容

-text:将路径指定文件的内容输出到stdout:

语法:

hadoop fs -text /hadoop/LICENSE.txt

返回值:成功返回0,失败返回-1


 

1.16 -touchz创建空白文件

-touchz:创建空白文件:

语法:

hadoop fs -touchz /hadoop/touchzFile.txt

返回值:成功返回0,失败返回-1


 

1.17 -stat显示文件的统计信息

-stat:该命令选项显示文件的一些统计信息:

语法:

hadoop fs -stat /hadoop/

返回值:成功返回0,失败返回-1


 

1.18 -tail查看文件尾部内容

-tail:该命令选项显示文件最后1K字节的内容。一般用于查看日志。如果带有选项-f,那么当文件内容变化时,也会自动显示:

语法:

hadoop fs -tail -f/hadoop/dir1/hadoop-root-namenode-Hadoop1.log

返回值:成功返回0,失败返回-1


 

1.19 -chmod修改文件权限

-chmod:改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。:

语法:

hadoop fs -chmod -R 750  /hadoop/dir2

返回值:成功返回0,失败返回-1


 

1.20 -chown修改属主

-chown:改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。:

语法:

hadoop fs -chown -R supergroup /hadoop/dir2

hadoop fs -chown -R用户:路径

hadoop fs -chown -R supergroup:supergroup/hadoop/dir2

返回值:成功返回0,失败返回-1


 

1.21 -chgrp修改属组

-chgrp:该命令的作用是修改文件的属组,该命令相当于“chown:属组”的用法

语法:

hadoop fs -chgrp -R root /hadoop/dir2

hadoop fs -chgrp -R用户:路径

hadoop fs -chgrp -R supergroup:root/hadoop/dir2

返回值:成功返回0,失败返回-1


 

1.22 -rm删除文件/空白文件夹

-rm:删除指定的文件。只删除非空目录和文件。

语法:

hadoop fs -rm/hadoop/dir1/hadoop-root-namenode-Hadoop1.log

返回值:成功返回0,失败返回-1


 

1.23 –rmr递归删文件

-rmr:该命令选项表示递归删除指定目录下的所有子目录和文件。

语法:

hadoop fs –rm -r /hadoop/dir2

hadoop fs -rmr /hadoop/dir2

返回值:成功返回0,失败返回-1


 

1.24 –help帮助

-help:该命令选项会显示帮助信息,后面跟上需要查询的命令选项即可。

语法:

hadoop fs -help命令

hadoop fs -help ls



                --以上为《Hadoop教程(三)HDFS文件系统Shell命令》,如有不当之处请指出,我后续逐步完善更正,大家共同提高。谢谢大家对我的关注。

                                                                                                                                                                                      ——厚积薄发(yuanxw)


阅读更多

没有更多推荐了,返回首页