HDFS的Shell操作及常见命令

常见命令

• 查看有哪些命令 hadoop fs(能查到不一定能用，比如moveToLocal)

• 查看tail命令的使用方法 hdfs dfs -help tail

• 查看根目录下有那些文件 hdfs dfs -ls /

  路径只能是绝对路径

• 安全模式 (安全模式状态下只能读不能写)

  • 查看安全模式状态：hdfs dfsadmin -safemomde get
  • 进入安全模式状态：hdfs dfsadmin -safemode enter
  • 离开安全模式状态：hdfs dfsadmin -safemode leave
  • 等待安全模式状态：hdfs dfsadmin -safemode wait

• 新建文件夹 hdfs dfs -mkdir -p /user/hduser -p表示级联新建文件夹

• 从本地剪切到HDFS：hdfs dfs -moveFromLocal a.txt /hduser/

• 从本地拷贝到HDFS：hdfs dfs -copyFromLocal a.txt /user/hduser/a1.txt
  相当于-put:hdfs dfs -put a.txt /hduser/a2.txt

• 从HDFS中拷贝到本地 ：hdfs dfs -copyToLocal /hduser/a.txt ./

• 追加一个文件到已经存在的文件末尾：hdfs dfs -appendToFile a.txt /hduser/ab.txt

• 显示文件内容：hdfs dfs -cat /a.txt

• 修改文件所属权限

  • -chgrp 修改所在组：hdfs dfs -chgrp hduser /a.txt修改a.txt所属的用户组
  • -chmod 修改权限:hdfs dfs -chmod 666 /a.txr 给a.txt加写权限
  • -chown 修改所属用户名和组:hdfs dfs -chown hduser:hduser /b.txt 给b.txt修改用户名和所属组

• -cp从HDFS的一个路径拷贝到HDFS的另一个路径：hdfs dfs -cp /abc /user/hduser 此时abc的路径是/user/hduser/abc

• -mv在HDFS目录中移动文件：hdfs dfs -mv /abc /user/hduser

• -get等同于copyToLocal : hdfs dfs -get /user/hduser/abc ./

• -getmerge合并下载多个文件：hdfs dfs -getmerge /user/hduser/* ./aaa3.txt 将/user/hduser/下的所有为文件合并成aaa3.txt并下载到本地

• -put 等同于copyFromLocal：hdfs dfs -put a.txt /hduser

• -tail:显示一个文件的末尾:hdfs dfs -tail /hduser/a.txt 显示a.txt文件后1KB

• -rm 删除文件或文件夹 : hdfs dfs -rm -r /hduser 只能删除空的文件夹，-r表示递归删除

• -rmdir 删除空目录