hadoop常用命令

hadoop dfs -ls <path>  列出文件或目录内容
如果是文件，则按照如下格式返回文件信息：
文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID
如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下：
目录名 <dir> 修改日期 修改时间 权限 用户ID 组ID
示例：
hadoop dfs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
返回值：成功返回0，失败返回-1。
hadoop fs -lsr <path> 递归的列出文件内容
ls命令的递归版本。类似于Unix中的ls -R。
hadoop dfs -df <path> 显示目录的使用情况
hadoop dfs -du <path> 显示目录中所有文件及目录的大小
hadoop dfs -dus <path> 只显示目录<path>大小
hadoop dfs -count[-q] <path> 显示<path>下的目录及文件数，输出格式为“目录数 文件数 大小 文件名” 加上-q还可以查看文件索引情况
hadoop dfs -mv  [src] <dst>
将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。

实例：

hadoop dfs -mv /user/hadoop/file1 /user/hadoop/file2

 hadoop dfs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1
 hadoop dfs -rm [-skipTrash] <path>删除指定的文件。只删除非空目录和文件。 如果加上-skipTrash则直接删除
示例：hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir
hadoop dfs -rmr [-skipTrash] <path>
将路径为<path>的目录以及目录下的文件移动到回收站。 如果加上-skipTrash则直接删除
hadoop dfs -expunge  清空回收站
hadoop dfs -put <localsrc> ... <dst>
从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。
hadoop dfs -copyFromLocal <localsrc> <dst>
除了限定源路径是一个本地文件外，和put命令相似
hadoop dfs -moveFromLocal <localsrc>..<dst> 将<localsrc>本地文件移动到HDFS的<dst>目录下  
hadoop dfs -get [-ignorecrc] [-crc] <src> <localdst>将HDFS上<src>的文件下载到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。
hadoop dfs -getmerge <src> <localdst> [addnl]
将HDFS上<src>目录下的所有文件按文件名排序并合并成一个文件输出到本地的<localdst>目录。addnl是可选的，用于指定在每个文件结尾添加一个换行符。  
hadoop dfs -cat <src>浏览HDFS路径为<src>的文件内容
hadoop dfs -text <src>  将HDFS路径为<src>的文件内容输出
hadoop dfs -copyToLocal [-ignorecrc] [-crc] <src> <localdst>  功能类似 get
hadoop dfs -mkdir <paths>接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。
hadoop dfs -touchz <path>   创建一个0字节的空文件。