hadoop命令大全

1、hdfs文件系统命令

1.1、文件夹操作命令

#创建文件夹
hdfs dfs -mkdir dir  

#删除文件夹dir
hdfs dfs -rmr dir 

#查看目录文件信息
hdfs dfs -ls  

#递归查看文件目录信息
hdfs dfs -lsr  

#返回指定路径的信息
hdfs dfs -stat path 

1.2、文件操作相关命令

#创建长度为0的空文件a.txt
hdfs dfs -touchz a.txt 

#删除文件file
hdfs dfs -rm file   

#向dir文件上传file文件
hdfs dfs -put file dir  

#向dir上传文件filea并且把filea改名为fileb
hdfs dfs -put filea dir/fileb 

#下载file到本地文件夹
hdfs dfs -get file dir  

#把hdfs里面的多个文件合并成一个文件，合并后文件位于本地系统
hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult  

#查看文件file
hdfs dfs -cat file   

#如果文件是文本格式，相当于cat，如果文件是压缩格式，则会先解压，再查看
hdfs fs -text /dir/a.txt  

#查看dir目录下面a.txt文件的最后1000字节
hdfs fs -tail /dir/a.txt

#从本地复制文件
hdfs dfs -copy