Hadoop环境搭建、启动和管理界面查看

一、hadoop环境搭建：

1. hadoop 6个核心配置文件的作用：
core-site.xml：核心配置文件，主要定义了我们文件访问的格式 hdfs://
hadoop-env.sh：主要配置我们的java路径
hdfs-site.xml：主要定义配置我们的hdfs的相关配置
mapred-site.xml 主要定义我们的mapreduce相关的一些配置
slaves：控制我们的从节点在哪里，datanode nodemanager在哪些机器上
yarn-site.xml：配置我们的resourcemanager资源调度

 

二、hadoop启动：

前提：完全分布式环境下：

	192.168.1.100	192.168.1.110	192.168.1.120
zookeeper	zk	zk	zk
HDFS	JournalNode	JournalNode	JournalNode
	NameNode	NameNode
	ZKFC	ZKFC
	DataNode	DataNode	DataNode
YARN		ResourceManager	ResourceManager
	NodeManager	NodeManager	NodeManager
MapReduce			JobHistoryServer

1.三台机器上都执行该命令，启动zk：zkServer.sh start

2.启动HDFS过程

node01上执行：

cd   /export/servers/hadoop-2.7.5

bin/hdfs zkfc -formatZK

sbin/hadoop-daemons.sh start journalnode

bin/hdfs namenode -format

bin/hdfs namenode -initializeSharedEdits -force

sbin/start-dfs.sh

node02上面执行：

cd   /export/servers/hadoop-2.7.5

bin/hdfs namenode -bootstrapStandby

sbin/hadoop-daemon.sh start namenode

3.启动yarn过程

node03上面执行：

cd   /export/servers/hadoop-2.7.5

sbin/start-yarn.sh

node02上执行：

cd   /export/servers/hadoop-2.7.5

sbin/start-yarn.sh

查看resourceManager状态

node03上面执行

cd   /export/servers/hadoop-2.7.5

bin/yarn rmadmin -getServiceState rm1

node02上面执行：

cd   /export/servers/hadoop-2.7.5

bin/yarn rmadmin -getServiceState rm2

node03启动jobHistory

node03机器执行以下命令启动jobHistory

cd /export/servers/hadoop-2.7.5

sbin/mr-jobhistory-daemon.sh start historyserver

停止hadoop

cd /export/servers/hadoop-2.7.5

sbin/stop-dfs.sh

sbin/stop-yarn.sh

sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/hadoop-daemon.sh stop journalnode

注意：

1.bin/hdfs namenode -format该命令仅执行一次，以后尽量不要执行，因为一执行，则所有数据都丢失！

2.hadoop完全分布式环境下，hadoop启动前，必须在三台机器上都启动ZK。

3.sbin/hadoop-daemons.sh [ start | stop ] journalnode 一次同时启动/停止所有机器，sbin/hadoop-daemon.sh [ start | stop ] journalnode 一次只能启动/停止一台机器（当前机器）

 

三、hadoop管理界面查看：

http://192.168.52.100:50070/dfshealth.html#tab-overview  查看hdfs

http://node01:8088/cluster 查看yarn集群
http://node01:19888/jobhistory 查看历史完成的任务 

转载于:https://www.cnblogs.com/mediocreWorld/p/10940357.html