Hadoop HDFS 的文件系统命令解释

HDFS Shell 笔记

所有操作 File Shell 系统的命令基本都存在于bin/hadoop中，并且带上参数fs

基本命令形式为

bin/hadoop fs <args>

appendToFile

用法

bin/hadoop fs -appendToFile <localSrc> ... <dest>

用途解释

用于将一个或者多个本地来源的文件追加到 File Shell 系统的中的某个文件中，功能类似于 Linux 里面的 cat fileA >> fileB

示例

bin/hadoop fs -appendToFile localFile hdfs://namenodeHost/hadoop/file
bin/hadoop fs -appendToFile localFileA localFileB /hadoop/data/file

cat

用法

bin/hadoop fs cat URI [URI ...]

用途解释

用于将指定文件的内容输出到标准输出窗口的命令，功能同等于 Linux 中的cat file

示例

bin/hadoop fs -cat file:root/file
bin/hadoop fs -cat hdfs://hdfssys/file 
bin/hadoop fs -cat hdfs://hdfssys/fileA hdfs://hdfssys/fileB

chgrp

用法

bin/hadoop fs -chgrp [-R] <groupID> URI [URI ...]

用途解释

用于更改文件系统中的文件组属，功能等同于 Linux 中的chgrp group file

示例

bin/hadoop fs -chgrp hadoop file:///root/file
bin/hadoop fs -chgrp -R hadoop hdfs://hdfssys/fileA hdfs://hdfssys/fileB

chmod

用法

bin/hadoop fs -chmod -R <mode> URI [URI ...]

用途解释

用于更改文件系统中的文件访问权限，功能同等于 Linux 中的chmod 777 file

示例

bin/hadoop fs -chmod 777 hdfs://hdfssys/file 

chown

用法

bin/hadoop fs -chown [-R] <user>[:[groupID]] URI [URI ...]

用途解释

用于更改文件系统中的文件用户所属，功能同等于 Linux 中的chown user:group file

示例

bin/hadoop fs -chown hadoopUser:hadoop hdfs://hdfssys/file

copyFromLocal

用法

bin/hadoop fs -copyFromLocal <localSrc> URI

用途解释

用于复制本地文件到目标文件系统中

示例

bin/hadoop fs -copyFromLocal localFile hdfs://hdfssys/

copyToLocal

用法

bin/hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localDest>

用途解释

用于将文件系统中的文件复制到本地，-ignorecrc用于忽略CRC校检结果，-crc用于复制文件以及CRC信息

示例

bin/hadoop fs -copyToLocal hdfs://hdfssys/ /usr/dest

count

用法

bin/hadoop fs -count [-q] [-h] <filePath>

用途解释

用于统计指定地址的状态，
若使用参数-h，则会返回以下顺序的数据：
文件夹数量 文件数量 内容大小(高可读性) 文件路径
若使用参数-q，则会返回以下顺序的数据：
总配额 可用配额 总空间配额 剩余空间配额 文件夹数量 文件数量 内容大小 文件路径
若不带参数，则会返回与参数-h一样的顺序的数据，只不过内容大小的数据并不会自动转换单位

示例

bin/hadoop fs -count -q hdfs://hdfssys/folder  

cp

用法

bin/hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

用途解释

用于复制一个或多个文件，
若使用-f参数，则会覆盖目标位置的文件，
若使用-p参数，则会保留topax中指定文件的属性timestamps, ownership, permission, ACL, XAttr</