【Hadoop】伪分布式搭建

克隆虚拟机

要克隆的虚拟机环境配置见【Hadoop】环境配置

配置集群

配置：core-site.xml

写入：

配置hadoop-env.sh

配置hdfs-site.xml

启动

格式化NameNode（第一次 格式化）

格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode

启动NameNode

启动DataNode

看web界面 需要关闭防火墙
http://192.168.202.130:50070/dfshealth.html#tab-overview

配置YARN

配置yarn-env.sh

配置yarn-site.xml

配置mapred-env.sh

配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

启动

启动启动前必须保证NameNode和DataNode已经启动

启动ResourceManager

启动NodeManager

查看web

http://192.168.202.130:8088/cluster

配置历史服务器

配置mapred-site.xml

启动历史服务器

查看历史服务器是否启动

查看web端

http://192.168.202.130:19888/jobhistory

配置日志的聚集

开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager

配置yarn-site.xml

关闭NodeManager 、ResourceManager和HistoryManager

启动NodeManager 、ResourceManager和HistoryManager