Hadoop编程实验5 HDFS常用命令操作

目录

实验目的和要求

实验环境

实验内容与过程

1、实验内容

2、实验过程

实验结果与分析

（1）实验结果

（2）结果分析

实验心得

---

实验目的和要求

掌握HDFS的常用命令使用

实验环境

1. 操作系统:Ubuntu16.04
2.   软件:JDK-1.8、Hadoop-2.7、Eclipse
3.   数据存放路径：/data/dataset
4.   tar包路径：/data/software
5.   tar包压缩路径：/data/bigdata
6.   软件安装路径:/opt

  实验设计创建文件：/data/resource 

实验内容与过程

1、实验内容

1、启动服务HDFS服务

启动HDFS

  1、启动HDFS：

  注意：需要在配置文件/etc/profile中注释掉Hadoop3的相关环境变量设置，然后执行命令【source /etc/profile】，让配置的profile文件立刻生效。

1、启动HDFS：

  注意：需要在配置文件/etc/profile中注释掉Hadoop3的相关环境变量设置，然后执行命令【source /etc/profile】，让配置的profile文件立刻生效。

2、常用命令使用

查看HDFS的帮助命令

查看HDFS的相关命令（ls）使用方法

将hadoop安装目录下的“README.txt”文件上传到HDFS根目录下

查看刚刚上传的“README.txt”文件内容

查看刚刚上传的“README.txt”文件内容的前三行和后三行

将HDFS根目录下的README.txt文件下载到本地“~”目录下

在HDFS的根目录下创建date文件夹

在刚创建的date目录下创建name文件夹，在name文件夹下创建zhangsan文件夹

将HDFS的根目录下README.txt文件复制一份并命名为README2.txt

在HDFS的根目录下README.txt文件重命名为info

使用rm删除刚刚移动的info文件

3、HDFS管理员命令

查看HDFS管理的命令帮助

查看HDFS的报告

2、实验过程

start-dfs.sh
root@localhost:~# jps
2626 DataNode
4471 Jps
2488 NameNode
2812 SecondaryNameNode
hadoop fs -help
hadoop fs -help ls
hadoop fs -put /opt/hadoop/README.txt /
hadoop fs -cat /README.txt
hadoop fs -cat /README.txt|head -3
hadoop fs -cat /README.txt|tail -3
hadoop fs -get /README.txt ~
ls ~
hadoop fs -mkdir /date
hadoop fs -mkdir -p /date/name/zhangsan
hadoop fs -cp /README.txt /README2.txt
hadoop fs -mv /README.txt /info
hadoop fs -mv /info /date/name/zhangsan/
hadoop fs -rm /date/name/zhangsan/info
hadoop fs -rm -r /date
hdfs dfsadmin -help
hdfs dfsadmin -report

实验结果与分析

（1）实验结果

 

 

 

（2）结果分析

实验结果与预期相符，实验成功。

根据实验的指令一步一步执行。

实验心得

完成HDFS常用操作指令实验后，我深刻认识到了Hadoop分布式文件系统的重要性。HDFS是一种高容错、高可靠性和高扩展性的分布式文件系统。通过学习HDFS常用操作指令，我更好地理解了如何在Hadoop集群上进行数据存储和处理。

此外，我还学习了诸如创建目录、上传文件、下载文件、删除文件等基本操作。这些操作不仅对于使用Hadoop集群存储和管理大规模数据非常重要，同时也使得我们可以更有效地利用Hadoop集群来进行分布式数据处理和计算。

总之，学习和掌握HDFS常用操作指令是使用Hadoop分布式文件系统的关键之一。这将帮助提高数据管理与处理的效率，极大地缩短了应用程序从数据采集到挖掘等复杂流程的时间。