HDFS 的 shell 命令行常用命令介绍

HDFS 提供 shell 命令行客户端，使用方法见如下介绍。

• 注意hadoop fs、hadoop dfs、hdfs fs、hdfs dfs区别：
  
• 常用命令参数介绍

-help
功能：输出这个命令参数手册
[root@hadoop0 software]# hadoop fs -help
 
-ls
功能：显示目录信息
示例： hadoop fs -ls hdfs://hadoop0:9000/
备注：这些参数中，所有的 hdfs 路径都可以简写成 hadoop fs -ls / 等同上条命令的效果

-put
功能：等同于 copyFromLocal，进行文件上传
示例：hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz

-get
功能：等同于 copyToLocal，就是从 hdfs 下载文件到本地
示例：hadoop fs -get /aaa/jdk.tar.gz

-cp
功能：从 hdfs 的一个路径拷贝到 hdfs 的另一个路径
示例： hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

-mv
功能：在 hdfs 目录中移动文件
示例： hadoop fs -mv /aaa/jdk.tar.gz /

-rm
功能：删除文件或文件夹
示例：hadoop fs -rm -r /aaa/bbb/

-rmdir
功能：删除空目录
示例：hadoop fs -rmdir /aaa/bbb/ccc

-moveFromLocal
功能：从本地剪切到 hdfs
示例：hadoop fs - moveFromLocal /home/hadoop/a.txt /aa/bb/cc/dd

-moveToLocal
功能：从 hdfs 剪切到本地
示例：hadoop fs - moveToLocal /aa/bb/cc/dd /home/hadoop/a.txt

-copyFromLocal
功能：从本地文件系统中拷贝文件到 hdfs 文件系统去
示例：hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/

-copyToLocal
功能：从 hdfs 拷贝到本地
示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz

-appendToFile
功能：追加一个文件到已经存在的文件末尾
示例：hadoop fs -appendToFile ./hello.txt hdfs://hadoop0:9000/hello.txt
可以简写为：
hadoop fs -appendToFile ./hello.txt /hello.txt

-cat
功能：显示文件内容
hadoop fs -cat /hello.txt

-tail
功能：显示一个文件的末尾
示例：hadoop fs -tail /weblog/access_log.1

-text
功能：以字符形式打印一个文件的内容
示例：hadoop fs -text /weblog/access_log.1

-chgrp
-chmod
-chown
功能：linux 文件系统中的用法一样，对文件所属权限
示例：
hadoop fs -chmod 666 /hello.txt
hadoop fs -chown someuser:somegrp /hello.txt
hadoop fs -chown root:supergroup /zz/test1.txt

**补充：**
查看 dfs 集群工作状态的命令
hdfs dfsadmin -report

-df
功能：统计文件系统的可用空间信息
示例：hadoop fs -df -h /

-du
功能：统计文件夹的大小信息
示例：hadoop fs -du -s -h /aaa/*

-count
功能：统计一个指定目录下的文件节点数量
示例：hadoop fs -count /aaa/

-setrep
功能：设置 hdfs 中文件的副本数量
示例：hadoop fs -setrep 3 /aaa/jdk.tar.gz

• 再次补充常见命令

**基础命令**
1、启动Hadoop集群
sbin/start-dfs.sh
sbin/start-yarn.sh

2、-help：输出这个命令参数
hadoop fs -help rm

3、创建/zz文件夹
[root@hadoop10 software]# hadoop fs -mkdir /zz

4、追加文件操作
[root@hadoop10 data]# hadoop fs -put wordcount.txt /bb/cc
[root@hadoop10 data]# hadoop fs -appendToFile aa.txt /bb/cc/wordcount.txt


**上传相关**
1、-moveFromLocal：从本地剪切到HDFS
vim aa.txt
输入：aa
具体命令：
[root@hadoop10 data]# hadoop fs -moveFromLocal ./aa.txt /zz

2、-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
vim bb.txt
输入：bb
[root@hadoop10 data]# hadoop fs -copyFromLocal bb.txt /zz

3、-put：等同于copyFromLocal，个人喜欢用put
vim cc.txt
输入：cc
hadoop fs -put ./cc.txt /zz

4、-appendToFile： 追加一个文件到已经存在的文件末尾
vim dd.txt
输入：dd
[root@hadoop10 data]# hadoop fs -appendToFile dd.txt /zz/bb.txt


**下载相关**
1、-copyToLocal：HDFS拷贝到本地
[root@hadoop10 data]# hadoop fs -copyToLocal /zz/aa.txt ./

2、-get：等同于copyToLocal，个人偏好get
[root@hadoop10 data]# hadoop fs -get /zz/aa.txt ./aa2.txt


**HDFS其他一些常见操作**
1、-ls: 显示目录信息
[root@hadoop10 data]# hadoop fs -ls /zz

2、-cat：显示文件内容
[root@hadoop10 data]# hadoop fs -cat /zz/aa.txt

3、-chgrp、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限
[root@hadoop10 data]# hadoop fs -chmod 666 /zz/aa.txt

4、-mkdir：创建路径
hadoop fs -mkdir /yy

5、-cp：从HDFS的一个路径拷贝到HDFS的另一个路径
hadoop fs -cp /zz/aa.txt /yy

6、-mv：在HDFS目录中移动文件
hadoop fs -mv /zz/aa.txt /yy
hadoop fs -mv /zz/bb.txt /yy

7、-tail：显示一个文件的末尾1kb的数据
hadoop fs -tail /yy/dd.txt

8、-rm：删除文件或文件夹
hadoop fs -rm /zz/dd.txt

9、-rm -r：递归删除目录及目录里面内容
hadoop fs -rm -r /zz

10、-du统计文件夹的大小信息
hadoop fs -du -s -h /yy
3 6 /yy
[root@hadoop10 logs]# hadoop fs -du -h /zz
3 3 /zz/aa.txt
6 6 /zz/bb.txt
说明：第一个3表示文件大小；第二个3表示3*1个副本；/yy表示查看的目录

11、-setrep：设置HDFS中文件的副本数量
hadoop fs -setrep 5 /yy/aa.txt
这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。
目前只有2个datanode节点，最多也就2个副本，只有从节点数的增加到5台时，副本数才能达到5

页面上拷贝剪切的时候的出错
Couldn't move file aa.txt. Forbidden
给文件夹属性也改成777