Hadoop-熟悉常用的HDFS操作

一、试验目的

一、试验环境

一、试验内容

任务一 启动Hadoop

1、在每台主机中输入source ~/.bash_profile，使环境变量生效。输入cd ~/zookeeper/zookeeper-3.4.9/conf，输入zkServer.sh start启动zookeeper。

2、在主节点输入start-all.sh。在备选主节点输入yarn-daemon.sh start resourcemanager。

3、在各主机输入jps进行查看，下面以 Cluster-01示例，若有名为“NameNode”、“ResourceManager”、“DFSZKFailoverController”的三个进程，则表示Hadoop集群的备用主节点启动成功。

任务二 熟练使用HDFS操作常用的shell命令

Hadoo常见shell命令：
-ls :查看指定路径的当前目录结构
-ls -R:递归查看指定路径的目录结构
-du:统计目录下文件（夹）的大小
-mkdir:创建空白文件夹(-P递归创建文件夹)
-rm:删除文件/空白文件夹
-rmr:递归删除
-touchz:创建空白文件
-cat:查看文件内容
-text:将源文件输出为文本格式
-get:将Hadoop上某个文件下载到本地已有目录下
-mv:将Hadoop上某个文件移动
-kill:将正在运行的hadoop作业kill掉
-du -h:显示目录下各个文件大小
-du -s:汇总目录下文件大小
-du -s -h:汇总文件所占存储空间

题目如下：
(1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件;（追加文件内容以编程方式进行)
例如:新建文本文件file1.txt:第二次重复上传本文件

$ hadoop fs -ls /
$ hadoop fs -touchz file1.txt

(2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名;
例如:从HDFS下载file1.txt到本地目录;和本地重名自动重命名

$ hadoop fs -get /user/admin/file1.txt /home/admin/

(3）将HDFS中指定文件的内容输出到终端中;
例如:查看打印HDFS中指定文件file1.txt的内容

$ hadoop fs -cat /user/admin/file1.txt
$ hadoop fs -text /user/admin/file1.txt

(4）显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;
例如:查看HDFS中file1.txt的读写权限、文件大小、创建时间、路径等。

$ hadoop fs -du /user/admin/file1.txt
$ hadoop fs -dus /user/admin/file1.txt
$ hadoop fs -du -h /user/admin/file1.txt

(5）给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息;
例如:新建目录dir1，ldir1/dir2，新建并上传文件file2.txt到dir1，file2.txt内容为hello world ! ，新建并上传文件file3.txt到dir2，file3.txt的内容为hello hadoop ! ,然后查看dir1目录下的所有文件读写权限、大小等;递归输出dir2目录下所有文件相关信息。

$ hadoop fs -mkdir dir1
$ hadoop fs -mkdir -p dir1
$ hadoop fs -mkdir -p /user/admin/dir1/dir2
$ echo 'hello world!'> /home/admin/file2.txt
$ hadoop fs -put /home/admin/file2.txt /user/admin/dir1/
$ hadoop fs -cat /user/admin/dir1/file2.txt
$ hadoop fs -du -h /user/admin/dir1/
$ echo 'hello hadoop!'> /home/admin/file3.txt
$ hadoop fs -put /home/admin/file3.txt /userladmin/dir1/dir2/
$ hadoop fs -ls /user/admin/dir1
$ hadoop fs -lsr /userladmin/dir1

(6）提供一个HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录;
例如:HDFS内的文件file4.txt，指定路径为/dir1/dir2

$ hadoop fs -touchz /user/admin/dir1/dir2/file4.txt

(7）提供一个HDFS的目录的路径，对该目录进行创建和删除操作。创建目录时，如果目录文件所在目录不存在则自动创建相应目录;删除目录时，由用户指定当该目录不为空时是否还删除该目录;
例如:HDFS内的目录dir4，指定路径为ldir1/，在HDFS中/dir1/dir4目录下新建文件file5.txt

$ hadoop fs -mkdir -p /user/admin/dir1/dir4
$ hadoop fs -touchz /user/admin/dir1/dir4/file5.txt
$ hadoop fs -rm /user/admin/dir1/dir4
$ hadoop fs -rmr /user/admin/dir1/dir4