Hadoop一主一从部署（2）

Hadoop部署一主一从（2）

---

1.关闭防火墙和Linux守护进程
执行命令:

iptables -F
setenforce 0

2.对Hadoop集群进行初始化，在namenode（主机）上执行命令
hdfs namenode -format

3.启动Hadoop，在namenode（主机）上执行如下命令
start-all.sh

4.主机和从机执行命令jps,检查集群是否正常启动，结果如图
主机：

从机：

5.对Hadoop进行一些简单的操作处理：
在hdfs上创建一个bigdata目录，并向目录中上传一个wordcount_test文件

hadoop fs -mkdir /bigdata
hadoop fs -put /root/wordcount_test /bigdata

6.利用Hadoop的shell接口执行Wordcount

hadoop jar /root/hadoop-2.8.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /bigdata/wordcount_test /output

备注：1 /output这个文件输出目录一定不能提前创建，否则会报错
2 执行wordcount要分配足够内存，不然会卡死（我分配了4G），这个在yarn-site.xml这个文件中配置,否则会卡死，如下所示:

      <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
  </property>

7.查看是否执行成功
执行命令hadoop fs -ls /output

8.查看执行结果
执行命令hadoop fs -cat /output/part-r-00000

至此，Hadoop搭建已全部完成，而且利用Hadoop完成了一个简单的Wordcount小程序。

总结：

防火墙一定要提前关闭，不然向hdfs上传文件会报错。
一定要分配足够的内存，否则执行MapReduce会卡死。

转载于:https://www.cnblogs.com/starstrrys/p/10958658.html