Hadoop分布式文件系统

一、实验目的要求

【实验要求】

1. Elipse中使用Maven构建HDFS API
   【实验目的】
2. 了解HDFS文件系统
3. 掌握HDFS的架构及核心组件功能
4. 掌握HDFS数据的读写流程
5. Elipse中使用Maven构建HDFS API

二、实验环境

1. Jdk8
2. Maven3.5.2
3. Eclipse
4. Hadoop集群

三、实验内容与完成情况

1. 准备工作
   （1）构建Maven环境
   （2）配置系统环境变量
   
   （3）验证：在cmd输入mvn -v，会出现maven相关的版本
   
   （4）设置localRepository：在conf文件夹中找到settings.xml
   （5）测试：输入mvn help:system。
   
   （6）在Eclipse中关联Maven
   
   （7）更改setting的位置

2. 使用maven创建一个标准化的Java项目，用命令行方式创建

3. 启动Eclipse，导入刚才创建的项目

4. 修改项目下的pom.xml，增加hadoop依赖


5. 再次执行mvn clean install

6. 从hadoop集群中下载以下三个配置文件：core-site.xml，hdfs-site.xml，
mapred-site.xml。
7. 修改hdfs-site.xml文件，添加如下内容并上传至hadoop集群。

8. 修改配置本地host——在C:\Windows\System32\drivers\etc\下，添加hadoop的namenode节点地址。

9. 添加系统环境变量HADOOP_USER_NAME，值为admin（登录hadoop的用户）


10. 开启hadoop集群




11.在hadoop集群中修改hdfs的用户权限：hadoop fs –chmod 777 /，启动Hadoop平台。

12. 第一个HDFS API——myHadoop，创建/user/input/test2并查看

13. 在hadoop集群中输入hdfs dfs -ls /user/input

四、心得体会

1. 在实验前老师讲解实验步骤时一定要认真听讲，将理论知识吃透，并注意老师所讲的容易出问题的点，为做实验打好基础。否则在实验过程中又会花费大量的时间去摸索实验步骤，不仅浪费时间，还容易因为速度慢而心浮气躁。
2. 作为计算机专业的学生，我们身处网络发达的年代，网络科技发展速度非常之快，所以，我们的学习范围不应只局限于课本局限于校园，不断学习新的知识，接触新的环境，才能更全面地了解网络发展的新趋势。
3. 在写代码时，一定要多练习，上网查资料。