Hadoop shell命令

HDFS的端口号

9000：hdfs节点内部通信端口
50070：hdfs的web端口

出现以下问题：就是没有在环境变量PATH中找不到

[hadoop@hadoop101 sbin]$ hadoop-daemon.sh
-bash: hadoop-daemon.sh: command not found

hosts的位置

HDFS集群注意事项

• 如果对NN进行格式化，一定要保证DN和NN的 clusterID一样
  clusterID存在 /home/hadoop/apps/hadoop/data/dfs/(data|name)/current/VERSION
• 如果DN的StorageID相同，就表示是同一个DN，所以DN之间的StorageID必须不一样
  StorageID存在 /home/hadoop/apps/hadoop/data/dfs/data/current/VERSION

HDFS Shell命令

• put 上传本地资源到hdfs上

  [hadoop@hadoop101 sbin]$ hdfs dfs -put /home/hadoop/installPkg/jdk-8u144-linux-x64.tar.gz /
  

• moveFromLocal 移动本地资源到hdfs上。本地资源就没有了

  [hadoop@hadoop101 sbin]$ hdfs dfs -moveFromLocal /home/hadoop/data/1.txt /
  

• copyFromLocal 复制本地资源到hdfs上

  [hadoop@hadoop101 sbin]$ hdfs dfs -copyFromLocal /home/hadoop/data/2.txt /
  

• copyToLocal 复制HDFS的资源到本地文件系统

  [hadoop@hadoop101 sbin]$ hdfs dfs -copyToLocal /1.txt /home/hadoop/data/
  ##复制文件并重命名
  [hadoop@hadoop101 sbin]$ hdfs dfs -copyToLocal /1.txt /home/hadoop/data/xxx.txt
  

注意：-moveToLocal 在hadoop2.7.3中尚未实现

• get 下载hdf资源到本地文件系统中

  [hadoop@hadoop101 sbin]$ hdfs dfs -get /2.txt /home/hadoop/data/
  

• cat 查看hdfs文件内容

  [hadoop@hadoop101 sbin]$ hdfs dfs -cat /1.txt
  

• text 查看hdfs文件内容

  [hadoop@hadoop101 sbin]$ hdfs dfs -text /2.txt
  

• tail f 监控hdfs文件

  [hadoop@hadoop101 sbin]$ hdfs dfs -tail -f /11.txt
  

• appendToFile 追加文件内容

  [hadoop@hadoop101 data]$ hdfs dfs -appendToFile /home/hadoop/data/num.txt /11.txt
  

注意：hdfs上的文件内容只能追加不能修改

• chgrp 更改文件或目录的所属组
  -R 表示递归。在目录上使用。

  [hadoop@hadoop101 data]$ hdfs dfs -chgrp hadoop /1.txt
  

• chown 更改文件或目录的所属用户及组

  [hadoop@hadoop101 data]$ hdfs dfs -chown root:root /1.txt
  

• chmod 更改权限UGO 541：r-xr----x

  [hadoop@hadoop101 data]$ hdfs dfs -chmod 541 /1.txt
  

• mkdir 创建目录 -p 创建父级目录

  [hadoop@hadoop101 data]$ hdfs dfs -mkdir -p /a/b
  

• cp 在hdfs文件系统之间复制

  [hadoop@hadoop101 data]$ hdfs dfs -cp /1.txt /data
  

• mv 在hdfs文件系统之间移动

  [hadoop@hadoop101 data]$ hdfs dfs -mv /2.txt /data
  

• rmdir 删除空目录

  [hadoop@hadoop101 data]$ hdfs dfs -rmdir /data
  rmdir: `/data': Directory is not empty
  

• rm 删除目录及文件 谨慎使用 -r 递归 -f 强制

  [hadoop@hadoop101 data]$ hdfs dfs -rm -r -f /data
  

• touchz 在hdfs上创建空文件

  [hadoop@hadoop101 data]$ hdfs dfs -touchz /tt.txt
  

• find 查找命令

  ## 查找/下的txt文件 
  [hadoop@hadoop101 data]$ hdfs dfs -find / -name "*.txt"
  /1.txt
  /11.txt
  /data/num.txt
  

• du 查看文件占用的磁盘大小

  [hadoop@hadoop101 data]$ hdfs dfs -du -h /
  

• df 查看hdfs文件系统的剩余空间

  [hadoop@hadoop101 data]$ hdfs dfs -df -h /
  

• ls 列出当前路径下的所有文件及目录

  [hadoop@hadoop101 data]$ hdfs dfs -ls /
  

• checksum 获取文件的校验和信息

  [hadoop@hadoop101 data]$ hdfs dfs -checksum /1.txt
  

• count 计算路径下与指定文件模式匹配的目录、文件 和文件内容的字节数量

  [hadoop@hadoop101 data]$ hdfs dfs -count -h /
  4              5        176.9 M      /
  DirCount   FileCount   ContentSize  Path
  

• setrep 设置副本数

  [hadoop@hadoop101 data]$ hdfs dfs -setrep 2 /1.txt
  

注意：相对路径和绝对路径。相对路径是相对 /user/当前用户目录的

[hadoop@hadoop101 data]$ hdfs dfs -mkdir -p /user/hadoop
## 123.txt就会在 /user/hadoop目录中创建
[hadoop@hadoop101 data]$ hdfs dfs -touchz 123.txt