集群配置与启动

集群配置规划

	hadoop100	hadoop101	hadoop102
HDFS	NameNode DataNode	DataNode	SecondaryNameNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

配置集群

（1）核心配置文件

配置core-site.xml

[hadoop@hadoop100 hadoop]$ vi core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>	
	<name>fs.defaultFS</name>    
	<value>hdfs://hadoop100:9000</value></property>
	<!-- 指定Hadoop运行时产生文件的存储目录 --><property>		
	<name>hadoop.tmp.dir</name>	
	<value>/opt/module/hadoop-2.7.2/data/tmp</value
</property>

（2）HDFS配置文件

[hadoop@hadoop100 hadoop]$ vi hadoop-env.sh

加入JAVA_HOME:

export JAVA_HOME=/opt/module/jdk1.8.0_162

配置hdfs-site.xml

[hadoop@hadoop100 hadoop]$ vi hdfs-site.xml

<property>	
	<name>dfs.replication</name>
	<value>3</value>
</property> 
	<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>    
	  <name>dfs.namenode.secondary.http-address</name>
	  <value>hadoop102:50090</value>
</property>

（3）YARN配置文件

配置yarn-env.sh

[hadoop@hadoop100 hadoop]$ vi yarn-env.shexport
JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

[hadoop@hadoop100 hadoop]$ vi yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>		
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property> 
<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop101</value>
</property>

（4）MapReduce配置文件

配置mapred-env.sh

[hadoop@hadoop100 hadoop]$ vi mapred-env.shexport
JAVA_HOME=/opt/module/jdk1.8.0_144

配置mapred-site.xml

[hadoop@hadoop100 hadoop]$ cp mapred-site.xml.template mapred-site.xml
[hadoop@hadoop100 hadoop]$ vi mapred-site.xml

在该文件中增加如下配置

<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

（5）分发配置好的配置文件

[hadoop@hadoop100 hadoop]$ xsync /opt/module/hadoop-2.7.1/

（6）集群单点启动

（1）如果集群是第一次启动，需要格式化NameNode

[hadoop@hadoop100 hadoop-2.7.1]$ hadoop namenode -format

(2)在hadoop100上启动Namenode，在100-102上分别启动datanode

[hadoop@hadoop100 hadoop-2.7.2]$ hadoop-daemon.sh start namenode
[hadoop@hadoop100 hadoop-2.7.2]$ hadoop-daemon.sh start datanode

（7）配置ssh免密登录

1、生成公钥和私钥：

[hadoop@hadoop100 .ssh]$ ssh-keygen -t rsa

2、将公钥拷贝到要免密登录的目标机器上

[hadoop@hadoop100 .ssh]$ ssh-copy-id hadoop100
[hadoop@hadoop100 .ssh]$ ssh-copy-id hadoop101
[hadoop@hadoop100 .ssh]$ ssh-copy-id hadoop102

注意：还需要在hadoop100上采用root账号，配置一下无密登录到hadoop100、hadoop101、hadoop102；还需要在hadoop101上采用atguigu账号配置一下无密登录到hadoop100、hadoop101、hadoop102服务器上。

（8）群起集群

1、配置slaves

/opt/module/hadoop-2.7.1/etc/hadoop/slaves
[hadoop@hadoop100hadoop]$ vi slaves

在其中加入
hadoop100
hadoop101
hadoop102
注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
2、启动集群
（1）如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）
（2）启动HDFS

[hadoop@hadoop100 hadoop-2.7.1]$ sbin/start-dfs.sh

（3）启动YARN

[hadoop@hadoop101 hadoop-2.7.1]$ sbin/start-yarn.sh