环境准备
(1)修改 IP
(2)修改主机名及主机名和 IP 地址的映射
(3)关闭防火墙
(4)ssh 免密登录
(5)安装 JDK,配置环境变量等
规划集群
hadoop102 | hadoop103 | hadoop104 |
---|---|---|
NameNode | NameNode | NameNode |
JournalNode | JournalNode | JournalNode |
DataNode | DataNode | DataNode |
JournalNode作用:NameNode之间相互通信!
配置 HDFS-HA 集群
1)官方地址:http://hadoop.apache.org/
2)在 opt 目录下创建一个 ha 文件夹
[root@hadoop102 ~]$ cd /opt
[root@hadoop102 opt]$ mkdir ha
3)将/opt/module/下的 hadoop-3.1.3 拷贝到/opt/ha 目录下(记得删除 data 和 log 目录)
[root@hadoop102 opt]$ cp -r /opt/module/hadoop-3.1.3 /opt/ha/
4)配置 core-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration>
<!-- 把多个 NameNode 的地址组装成一个集群 mycluster -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 指定 hadoop 运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/ha/hadoop-3.1.3/data</value>
</property>
</configuration>
5)配置 hdfs-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration>
<!-- NameNode 数据存储目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/name</value>
</property>
<!-- DataNode 数据存储目录 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/data</value>
</property>
<!-- JournalNode 数据存储目录 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>${hadoop.tmp.dir}/jn</value>
</property>
<!-- 完全分布式集群名称 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- 集群中 NameNode 节点都有哪些 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2,nn3</value>
</property>
<!-- NameNode 的 RPC 通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hadoop102:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hadoop103:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn3</name>
<value>hadoop104:8020</value>
</property>
<!-- NameNode 的 http 通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>hadoop102:9870</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hadoop103:9870</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn3</name>
<value>hadoop104:9870</value>
</property>
<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
</property>
<!-- 访问代理类:client 用于确定哪个 NameNode 为 Active -->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制,即同一时刻只能有一台服务器对外响应 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要 ssh 秘钥登录-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
</configuration>
6)分发配置好的 hadoop 环境到其他节点
启动 HDFS-HA 集群
1)将 HADOOP_HOME 环境变量更改到 HA 目录(三台机器)
[root@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh
将 HADOOP_HOME 部分改为如下
#HADOOP_HOME
export HADOOP_HOME=/opt/ha/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
去三台机器上 source 环境变量
[root@hadoop102 ~]$ source /etc/profile
2)在各个 JournalNode 节点上,输入以下命令启动 journalnode 服务
[root@hadoop102 ~]$ hdfs --daemon start journalnode
[root@hadoop103 ~]$ hdfs --daemon start journalnode
[root@hadoop104 ~]$ hdfs --daemon start journalnode
3)在[nn1] (hadoop102)上,对其进行格式化,并启动
[root@hadoop102 ~]$ hdfs namenode -format
[root@hadoop102 ~]$ hdfs --daemon start namenode
4)在[nn2]和[nn3] (hadoop103和hadoop104)上,同步 nn1 的元数据信息
[root@hadoop103 ~]$ hdfs namenode -bootstrapStandby
[root@hadoop104 ~]$ hdfs namenode -bootstrapStandby
5)启动[nn2]和[nn3]
[root@hadoop103 ~]$ hdfs --daemon start namenode
[root@hadoop104 ~]$ hdfs --daemon start namenode
6)查看 web 页面显示
102图
103图
104图
7)在所有节点上,启动 datanode
[root@hadoop102 ~]$ hdfs --daemon start datanode
[root@hadoop103 ~]$ hdfs --daemon start datanode
[root@hadoop104 ~]$ hdfs --daemon start datanode
8)将[nn1]切换为 Active
[root@hadoop102 ~]$ hdfs haadmin -transitionToActive nn1
9)查看是否 Active
[root@hadoop102 ~]$ hdfs haadmin -getServiceState nn1
客户端图
网页图
问题提出
当hadoop102的 namenode挂掉了怎么办?
测试:
hadoop102 网页 :
此时hadoop 103 和 104 依然都是从节点
所以也就是说,当hadoop102 (主节点)挂掉了之后,103和104两个从节点并不会变成主节点,现在手动将hadoop103变成主节点尝试 (没有启动hadoop102的情况下)
结果显示,报错。现在我们将hadoop102中的NN启动,再次开始将hadoop103变成主节点尝试
[root@hadoop102 ~]$ hdfs --daemon start namenode
[root@hadoop103 ~]$ hdfs haadmin -transitionToActive nn2
结果成功
hadoop102 和 hadoop103 的网页图
所以结果就是,当一个节点挂掉之后,就算是手动模式启动其他节点,也要等挂掉的节点起来之后,才能去手动将其他节点的机器变成主节点。