HDFS 常用shell命令

•  #创建名为/abc的文件夹

hdfs dfs -mkdir /abc

• #列出根目录中的内容

hdfs dfs -ls /  

• #递归列出多层文件夹的内容

hdfs dfs -ls -R / 

• #把Linux系统中/etc/hosts文件上传到HDFS中

hdfs dfs -put /etc/hosts /abc/hosts

• #向文件中追加内容

hdfs dfs -appendToFile /etc/hosts /abc/hosts

• #查看文件的MD5值

hdfs dfs -checksum /abc/hosts

• #查看文件/文件夹的大小

hdfs dfs -du -h /

#-h以人类友好的方式显示大小（过大时带单位）

• #把HDFS中的文件下载到本地Linux中

hdfs dfs -get /abc/hosts ./hosts 

#注意./hosts是下载后保存到本地的位置

•  #查看HDFS中文本文件的内容

hdfs dfs -cat /abc/hosts

#注意：只能查看文件文件

• #列出文件结尾处1KB的文件内容

hdfs dfs -tail /abc/hosts

hdfs dfs -mv /abc/hosts /abc/xyz #修改文件名字或移动位置

• #复制文件

hdfs dfs -cp /abc/xyz /abc/hosts

• #查找名字为xyz的文件的位置

hdfs dfs -find / -name xyz 

•  #删除名为/abc的文件夹

hdfs dfs -rmdir /abc

#注意：如果其中还有文件则不能删除

• #删除文件

hdfs dfs -rm /abc/hosts

• #递归删除文件/文件夹，文件夹中有文件也能删除

hdfs dfs -rm -r /abc

•  #查看HDFS文件系统的磁盘使用情况

hdfs dfs -df