Hadoop的Shell脚本命令

1、Shell 常用命令介绍

1.1 -ls 使用方法

hadoop fs -ls [-R] <args>

功能：显示文件、目录信息。

示例：hadoop fs -ls /user/hadoop/file1

1.2 -mkdir 使用方法

hadoop fs -mkdir [-p] <paths>

功能：在hdfs上创建目录，-p表示会创建路径中的各级父目录。

示例：hadoop fs -mkdir –p /user/hadoop/dir1

1.3 -put 使用方法

hadoop fs -put [-f] [-p] <localsrc1> [ localsrc2. ] <dst>

功能：将单个src或多个srcs从本地文件系统复制到目标文件系统。

-p：保留访问和修改时间，所有权和权限。

-f：覆盖目的地（如果已经存在）

示例：hadoop fs -put -f  localfile1 localfile2 /user/hadoop/hadoopdir

1.4 -get 使用方法

hadoop fs -get [-p] <src> <localdst>

功能：将文件复制到本地文件系统。

其中hdfs://host:port/可以查看/export/server/hadoop-2.7.4/etc/hadoop/core-site.xml中查看。

示例：hadoop fs -get hdfs://host:port/user/hadoop/file localfile

1.5 -appendToFile 使用方法

hadoop fs -appendToFile <localsrc> [localsrc]... <dst>

功能：追加一个文件到已经存在的文件末尾

示例：hadoop fs -appendToFile localfile  /hadoop/hadoopfile

1.6 -cat 使用方法

hadoop fs -cat URI [URI ...]

功能：显示文件内容到stdout

示例：hadoop fs -cat  /hadoop/hadoopfile

1.7 -tail 使用方法

hadoop fs -tail [-f] URI

功能：将文件的最后一千字节内容显示到stdout。

-f选项将在文件增长时输出附加数据。

示例：hadoop  fs  -tail -f  /hadoop/hadoopfile

1.8 -copyFromLocal 使用方法

hadoop fs -copyFromLocal <localsrc> URI

功能：从本地文件系统中拷贝文件到hdfs路径去

示例：hadoop  fs  -copyFromLocal  /root/1.txt  /

1.9 -copyToLocal 使用方法

hadoop fs -copyFromLocal /hadoop/hadoopfile <localsrc>

功能：从hdfs拷贝到本地

示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz

1.10 -cp 使用方法

功能：从hdfs的一个路径拷贝hdfs的另一个路径

示例： hadoop  fs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

1.11 -mv 使用方法

功能：在hdfs目录中移动文件

示例： hadoop  fs  -mv  /aaa/jdk.tar.gz  /

1.12 -getmerge 使用方法

功能：合并下载多个文件

示例：比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

hadoop fs -getmerge /aaa/log.*  ./log.sum

1.13 -rm 使用方法

功能：删除指定的文件。只删除非空目录和文件。-r 递归删除。

示例：hadoop fs -rm -r /aaa/bbb/

1.14 -df 使用方法

功能：统计文件系统的可用空间信息

示例：hadoop  fs  -df  -h  /

1.15 -du 使用方法

功能：显示目录中所有文件大小，当只指定一个文件时，显示此文件的大小。

示例：hadoop fs -du /user/hadoop/dir1

1.16 -setrep 使用方法

功能：改变一个文件的副本系数。-R标志被接受用于向后兼容性。它没有效果。

示例：hadoop fs -setrep -R -w 3  /user/hadoop/dir1