伪分布式环境搭建

1、伪分布式搭建

1. 进⼊/opt/install/hadoop/etc/hadoop⽬录

2. 修改 vim hadoop-env.sh  注释第25⾏并插⼊：export JAVA_HOME=/opt/install/jdk

3. 修改 vim core-site.xml      在<configuration>与</configuration>之间 添加以下内容

<!-- 指定 HDFS 中 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9000</value>
</property>
<!-- 指定 hadoop 运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/install/hadoop/data/tmp</value>
</property>

4. 修改 vim hdfs-site.xml  在<configuration>与</configuration>之间添加以下内容：

<!-- 指定 HDFS 副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 设置SecondaryNamenode主机和端口 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop101:50090</value>
</property>

5. 修改   vim  slaves⽂件：添加 hadoop101

6. 格式化 NameNode：

1. cd /opt/install/hadoop

2. bin/hdfs namenode -format【注意只需执⾏⼀次】

7. 启动 NameNode：sbin/hadoop-daemon.sh start namenode，查看是否启动成功：jps

8. 启动 DataNode：sbin/hadoop-daemon.sh start datanode，查 看是否启动成功：jps

9. 通过windows的浏览器查看服务：http://hadoop101:50070/ 需 要修改hosts:C:\Windows\System32\drivers\etc\hosts⽂件中 添加 192.168.18.101 hadoop101

10. 在 hdfs ⽂件系统上创建⼀个 input ⽂件夹：bin/hdfs dfs - mkdir -p /user/hadoop/input

11. 将测试⽂件上传到hdfs⽂件系统上：

1. 在/opt/install/hadoop⽬录下创建⽂件⽬录 mkdir wcinput

2. 创建⽂件 vim wcinput/wc.input

3. bin/hdfs dfs -put wcinput/wc.input /user/hadoop/input/

12. 查看hdfs⽂件系统中指定⽬录中的⽂件信息：bin/hdfs dfs -ls /user/hadoop/input

13. 查看hdfs⽂件系统中指定⽂件的内容：bin/hdfs dfs -cat /user/hadoop/input/wc.input

14. 运⾏ mapreduce 程序：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /user/hadoop/input/ /user/hadoop/output

15. 查看输出结果：

bin/hdfs dfs -ls /user/hadoop/output

bin/hdfs dfs -cat /user/hadoop/output/*

16. 将测试⽂件内容下载到本地： mkdir wcoutput bin/hdfs dfs -get /user/hadoop/output/* ./wcoutput cat wcoutput/*

17. 删除输出结果： bin/hdfs dfs -rm -r /user/hadoop/output

18. 停⽌namenode和datanode

hadoop-daemon.sh stop namenode

hadoop-daemon.sh stop datanode

jps查看

19. 清理本地⽂件然后停机做快照