hadoop3.3.2集群搭建---配置和启动

1、集群规划

主机名	IP	HDFS	YARN
hadoop1	xx.xx.xx.11	NameNode、DataNode	NodeManager、ResourceManager
hadoop2	xx.xx.xx.12	DataNode、SecondaryNameNode	NodeManager
hadoop3	xx.xx.xx.13	DataNode	NodeManager

2、hadoop文件配置

在配置hadoop集群前需要使主机之间可以通信和免密登录，这里只写文件配置和启动。

2.1 修改workers文件

hadoop1
hadoop2
hadoop3

2.2 修改core-site.xml文件

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
		<name>fs.defaultFS</name>
      <value>hdfs://hadoop1:8020</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-3.3.2/data</value>
</property>
<property>
	<name>hadoop.http.staticuser.user</name>
	<value>root</value>
</property>
</configuration>

2.3 修改hdfs-site.xml文件

<configuration>
<!-- namenode守护进程管理的元数据文件fsimage存储的位置-->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file://${hadoop.tmp.dir}/dfs/name</value>
	</property>
<!-- secondarynamenode守护进程的http地址：主机名和端口号。参考守护进程布局-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>hadoop3:9868</value>
	</property>
<!-- namenode守护进程的http地址：主机名和端口号。参考守护进程布局-->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>hadoop1:9870</value>
	</property>
</configuration>

2.4 修改mapred-site.xml文件

<configuration>
<!-- 指定mapreduce使用yarn资源管理器-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
<!-- 配置作业历史服务器的地址-->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop2:10020</value>
	</property>
<!-- 配置作业历史服务器的http地址-->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop2:19888</value>
	</property>
</configuration>

2.5 修改yarn-site.xml文件

<configuration>
<!-- 指定yarn的shuffle技术-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
<!-- 指定resourcemanager的主机名-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop2</value>
	</property>
	
	<property>
        <name>yarn.nodemanager.env-whitelist</name>
 <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>        

3、初始化并启动集群

3.1 Hadoop初始化

./bin/hdfs namenode -format

3.2  Hadoop集群启动

./sbin/start-dfs.sh
./sbin/start-yarn.sh
./sbin/mr-jobhistory-daemon.sh start historyserver