【Hadoop】二、完全分布式模式

集群准备

三台服务器：master，slave01，slave02

• jdk1.8及以上，在/etc/profile中设置JAVA_HOME环境变量

• hadoop2.7，配置 HADOOP_HOME 环境变量

# /etc/profile
# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
# HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

• 【初始克隆的虚拟机已搞定，克隆的直接有；也可以搞定一个之后，进行分发】

sudo scp /etc/profile root@slave01:/etc/profile
sudo scp /etc/profile root@slave02:/etc/profile

集群配置

集群部署规划

                             

		master01			slave01			slave02
HDFS	NameNode		SecondaryNameNode
	DataNode	DataNode	DataNode
YARN		ResourceManager
	NodeManager	NodeManager	NodeManager

配置集群

• 进入到hadoop安装目录下的 /etc/hadoop
• 修改核心配置文件：core-site.xml

configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://master01:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

• 配置hadoop环境变量：hadoop-env.sh

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144

• 修改HDFS配置文件：hdfs-site.xml

<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>slave02:50090</value>
</property>
</configuration>

• 配置yarn环境变量：yarn-env.sh

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144

• 修改YARN配置文件：yarn-site.xml【添加如下内容】

<!-- Reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>slave01</value>
</property>

• 配置mapred的环境变量：mapred-env.sh

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144

• 修改MapReduce配置文件：mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

<!-- 指定MR运行在YARN上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

• 将配置好的hadoop安装目录【hadoop-2.7.2】分发给其他服务器
• 配置slaves

hadoop-2.7.2/etc/hadoop/slaves
master01
slave01
slave02

• 将配置好的slaves分发给其他服务器

群起集群

• 如果集群是第一启动，需要格式化NameNode（namenode所在节点执行）

bin/hdfs namenode -format

 

---

【注意：格式化之前，一定要先停止启动的所有namenode和datanode进程（jps查看进程），然后再删除data和logs数据】 

rm -r data/
rm -r logs/

---

•  启动HDFS【master01服务器下启动】

sbin/start-dfs.sh

[lsy@master01 hadoop-2.7.2]$ jps
5650 NameNode
6022 Jps
5753 DataNode
[lsy@slave01 hadoop-2.7.2]$ jps
5234 Jps
5157 DataNode
[lsy@slave02 hadoop-2.7.2]$ jps
5090 DataNode
5237 Jps
5190 SecondaryNameNode

• 通过master01:50070查看HDFS文件系统
• 通过slave02::50090查看SecondaryNameNode信息

---

• 启动YARN【slave01服务器下启动】

sbin/start-yarn.sh

[lsy@slave01 hadoop-2.7.2]$ jps
5696 Jps
5157 DataNode
5593 NodeManager
5292 ResourceManager

【注意：如果NameNode和ResourceManager不在同一台服务器上，则不能在NameNode所在服务器上启动yarn，而应该在ResourceManager所在服务器上面启动yarn】

停止集群

• 停止HDFS

sbin/stop-dfs.sh

• 停止YARN

sbin/stop-yarn.sh