Hadoop中HDFS常用命令

以下命令争对Linux系统，基于shell脚本。

统一格式：

hadoop command [genericOptions] [commandOptions]

fs命令可以说是，最常用的命令，可以查看HDFS文件系统的目录结构，上传和下载数据，创建文件等

hadoop fs [genericOptions] [commandOptions]

 

具体如下：

hadoop fs -ls <path> 显示path指定的文件的详细信息

hadoop fs -ls -R <path> ls命令的递归版本

hadoop fs -cat <path> 将指定的文件的内容输出到终端上

hadoop fs -stat [format] <path> 以指定的格式返回指定的文件的相关信息，当不指定format时，返回文件的创建日期

hadoop fs -touchz <path> 创建一个指定的空文件

hadoop fs -copyFromLocal <localsrc><dst>mkdir [-p] <paths> 创建指定的一个或多个文件夹，-p用于递归创建子文件夹

hadoop fs -copyFromLocal <localsrc><dst> 将本地源文件 复制到 路径dst指定的文件或文件夹中

hadoop fs -copyToLocal [-ignorecrc][-crc]<target><localdst> 将目标文件复制到本地文件或文件夹中，前参数复制CRC效验失败的文件，后参数复制文件以及CRC信息

hadoop fs -cp <src><dst> 将文件从原路径复制到目标路径

hadoop fs -du <path> 显示指定的文件或文件夹中所有文件的大小

hadoop fs -getmerge [-nl] <src><localdst> 对src所有文件进行合并，写入指定的本地文件，-nl用于指定在每个文件结尾添加一个换行符

hadoop fs -put <localsrc><dst> 复制指定的单个或多个源文件

hadoop fs -moveFromLocal <localsrc><dst> 和put一样，只是复制完成删除源文件

hadoop fs -mv <src><dest> 将文件从原路径到目标路径

hadoop fs -rm <path> 只删除非空目录和文件