Hadoop_HDFS常用shell命令

HDFS常见shell命令

• 记得先启动集群

1.基本语法

​ hadoop fs 具体指令 或者 hdfs dfs具体指令（两个是完全一样的）

2. 常用命令

• （-mkdir）创建文件夹：

  hadoop fs -mkdir 文件名
  

• （-moveFromLocal 或者 -put）从本地剪切粘贴到HDFS：

  hadoop -moveFromLocal 本地文件夹路径 HDFS文件路径
  

• （-copyFromLocal）从本地文件系统中拷贝文件到HDFS路径中去：

  hadoop fs -copyFromLocal 本地文件路径 HDFS文件路径
  

• （-appendToFile）追加一个为文件到已经存在的文件末尾：

  hadoop fs -appendToFile 本地文件路径 HDFS文件路径
  

• （-copyToLocal 或者 -get）从HDFS拷贝到本地中

  hadoop fs -copyToLocal 本地文件路径 HDFS文件路径
  

• （-ls）显示目录信息

  hadoop fs -ls HDFS路径
  

• （-cat）显示文件内容

  hadoop fs -cat HDFS文件路径
  

• （-mkdir）创建路径

  hadoop fs -mkdir HDFS文件路径
  

• （-chgrp、-chmod、-chown）与Linux文件系统一样，修改文件所属权限

  hadoop fs -chmod 666 HDFS文件路径
  

• （-cp）从HDFS的一个路径拷贝到HDFS的另一个路径

  hadoop fs -cp HDFS文件路径 HDFS文件路径
  

• （-mv）在HDFS目录中移动文件

  hadoop fs -mv HDFS文件路径 HDFS文件路径
  

• （-tail）显示一个文件的末尾1kb的数据

  hadoop fs -tail HDFS文件路径
  

• （-rm）删除文件或者文件夹

  hadoop fs -rm HDFS文件路径
  

• （-rm -r）递归删除目录及目录里面内容

  hadoop fs -rm -r HDFS文件路径
  

• （-du）统计文件夹的大小信息

  hadoop fs -du -s -h HDFS文件路径
  

• （-strep）设置HDFS中文件的副本数量

  hadoop fs -setrep 数量 HDFS文件路径
  

参数优先级

• 参数优先级排序：

  （1）客户端代码中设置的值 >（2）ClassPath 下的用户自定义配置文
  件 >（3）然后是服务器的自定义配置（xxx-site.xml）>（4）服务器的默认配置（xxx-default.xml）