HDFS 的使用和管理

HDFS 的使用和管理
实验环境
Linux Ubuntu 16.04

实验内容
前提条件：

1）Hadoop 3.0.0 的单点部署完成

2）Java 运行环境部署完成

上述前提条件，我们已经为你准备就绪了。

实验步骤

1. 启动hadoop的hdfs相关进程

cd /apps/hadoop/sbin/

./start-dfs.sh

2. 用jps查看HDFS是否启动

jps

显示信息如下

705 SecondaryNameNode
853 Jps
519 DataNode
409 NameNode

我们可以看到相关进程，都已经启动。

3. 验证HDFS运行状态
   先在HDFS上创建一个目录, 看是否能够成功

hadoop fs -mkdir /myhadoop1

如果成功，查询hdfs文件系统根目录，将看到 /myhadoop1 目录。

hadoop fs -ls /

4. ls 命令

列出hdfs文件系统根目录下的目录和文件。

hadoop fs -ls

列出hdfs文件系统所有的目录和文件。

hadoop fs -ls -R /

5. put 命令

1）拷贝文件： hadoop fs -put < local file > < hdfs file >

其中< hdfs file >的父目录一定要存在，否则命令不会执行, 比如：

hadoop fs -put /apps/hadoop/README.txt /

2）拷贝目录： hadoop fs -put < local dir > < hdfs dir >

其中< hdfs dir >的父目录一定要存在，否则命令不会执行, 比如：

hadoop fs -put /apps/hadoop/logs /

3）查询是否拷贝成功：

hadoop fs -ls /

如果拷贝文件和目录成功，你将会看到 /logs 和 /REAME.txt

6. moveFromLocal 命令

1. 拷贝文件或目录：

hadoop fs -moveFromLocal < local src > < hdfs dst >

与put相类似，命令执行后源文件 local src 被删除

hadoop fs -moveFromLocal /apps/hadoop/NOTICE.txt /myhadoop1

hadoop fs -moveFromLocal /apps/hadoop/logs /myhadoop1

2）查询是否拷贝成功：

hadoop fs -ls /myhadoop1

如果拷贝文件和目录成功，你将会看到 /logs 和 /NOTICE.txt

7. get 命令

1. 拷贝文件或目录到本地：hadoop fs -get < hdfs file or dir > < local file or dir>

local file不能和 hdfs file名字不能相同，否则会提示文件已存在，没有重名的文件会复制到本地

hadoop fs -get /myhadoop1/NOTICE.txt /apps/hadoop/

hadoop fs -get /myhadoop1/logs       /apps/hadoop/

拷贝多个文件或目录到本地时，本地要为文件夹路径

注意：如果用户不是root， local 路径要为用户文件夹下的路径，否则会出现权限问题

2）查询是否拷贝得到本地成功：

cd /apps/hadoop

ls -l

如果拷贝文件和目录成功，你将会看到 logs 和 NOTICE.txt

8. rm 命令

1) 删除一个或多个文件

hadoop fs -rm < hdfs file > …

hadoop fs -rm /README.txt

2) 删除一个或多个目录

hadoop fs -rm -r < hdfs dir > …

hadoop fs -rm -r /logs

3）查询是否删除成功：

hadoop fs -ls /

如果删除文件和目录成功，你将不会看到 /logs 和 /NOTICE.txt

9. mkdir 命令

1) 创建一个新目录：

hadoop fs -mkdir < hdfs path >

只能一级一级的建目录，父目录不存在则这个命令会报错

hadoop fs -mkdir -p < hdfs dir > …

所创建的目录如果父目录不存在就创建该父目录

hadoop fs -mkdir /myhadoop1/test

hadoop fs -mkdir -p /myhadoop2/test

2）查询目录：

hadoop fs -ls /

hadoop fs -ls /myhadoop1

hadoop fs -ls /myhadoop2

如果创建目录成功，你将不会看到 /myhadoop1/test 和 /myhadoop2/test

10. cp 命令

完成HDFS 上文件或目录的拷贝

hadoop fs -cp < hdfs file > < hdfs file >

目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件还存在

hadoop fs -cp < hdfs file or dir >… < hdfs dir >

目标文件夹要存在，否则命令不能执行

1）拷贝一个本地文件到 HDFS 的根目录下

hadoop fs -put  /apps/hadoop/LICENSE.txt  /

成功后，即可以查询到此文件

hadoop fs -ls /

2）然后将此文件拷贝到 /myhadoop1 下

hadoop fs -cp /LICENSE.txt /myhadoop1

3）查询 /myhadoop1 目录：

hadoop fs -ls /myhadoop1

如果拷贝成功，你将会看到 LICENSE.txt 文件

11. mv 命令

完成HDFS 上文件或目录的移动

hadoop fs -mv < hdfs file > < hdfs file >

目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件不存在

hadoop fs -mv < hdfs file or dir >… < hdfs dir >

源路径有多个时，目标路径必须为目录，且必须存在

注意：跨文件系统的移动（local到hdfs或者反过来）都是不允许的

1. 移动一个 HDFS 文件

hadoop fs -mv /myhadoop1/LICENSE.txt  /myhadoop2

2. 查询 /myhadoop2 目录

hadoop fs -ls /myhadoop2

如果拷贝成功，你将会看到 /myhadoop2/LICENSE.txt 文件

12. count 命令

统计hdfs对应路径下的目录个数，文件个数，文件总计大小

hadoop fs -count < hdfs path >

hadoop fs -count /myhadoop1/logs

显示为目录个数，文件个数，文件总计大小，输入路径， 如下：

1    8    128199   /myhadoop1/logs

13. du 命令

hadoop fs -du < hdsf path>

显示hdfs对应路径下每个文件夹和文件的大小

hadoop fs -du -s < hdsf path>

显示hdfs对应路径下所有文件和的大小

hadoop fs -du -h < hdsf path>

显示hdfs对应路径下每个文件夹和文件的大小,文件的大小用方便阅读的形式表示，例如用64M代替67108864

hadoop fs -du /myhadoop2

hadoop fs -du -s /myhadoop2

hadoop fs -du -h /myhadoop2

14. setrep 命令

hadoop fs -setrep -R 3 < hdfs path >

改变一个文件在hdfs中的副本个数，上述命令中数字3为所设置的副本个数

-R选项可以对一个人目录下的所有目录+文件递归执行改变副本个数的操作

hadoop fs -setrep -R 3 /myhadoop1

15. stat 命令

hdoop fs -stat [format] < hdfs path >

返回对应路径的状态信息

[format]可选参数有：

%b（文件大小）

%o（Block大小）

%n（文件名）

%r（副本个数）

%y（最后一次修改日期和时间）

hadoop fs -stat %b /myhadoop2/LICENSE.txt

显示为文件大小， 如下：

147066

16. balancer 命令

hdfs balancer

如果管理员发现某些DataNode保存数据过多，某些DataNode保存数据相对较少，可以使用上述命令手动启动内部的均衡过程

hadoop balancer

17. dfsadmin 命令

hdfs dfsadmin -help

管理员可以通过dfsadmin管理HDFS，用法可以通过上述命令查看

hdfs dfsadmin -help

hdfs dfsadmin -report

显示文件系统的基本数据

hdfs dfsadmin -report

hdfs dfsadmin -safemode < enter | leave | get | wait >

enter：进入安全模式；

leave：离开安全模式；

get：获知是否开启安全模式；

wait：等待离开安全模式

hdfs dfsadmin -safemode enter