hdfs2.x HA搭建

最新推荐文章于 2022-05-16 08:15:00 发布

清风追梦enjoy

最新推荐文章于 2022-05-16 08:15:00 发布

阅读量192

点赞数

分类专栏：大数据集群

本文链接：https://blog.csdn.net/it_qingfengzhuimeng/article/details/82561958

版权

大数据同时被 2 个专栏收录

3 篇文章 0 订阅

订阅专栏

集群

2 篇文章 0 订阅

订阅专栏

官档：http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

node01免秘钥控制node02、node03、node04

node02免秘钥控制node01 zkfc自动故障转移原因：若nn01 active 挂了需要把nn02 standby 提升为active

把生成的公钥添加到认证文件中去 ssh localhost 验证免秘钥登录自身

node02

node01

在node02上免秘钥控制node01

删除红框内的 4dd

配置点：

1.逻辑到物理的映射 nameservice 到nn 到物理节点

即：hdfs-site.xml

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node01:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node02:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node02:50070</value>
</property>

2.集群的通信方式 share edits dir

即：hdfs-site.xml

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>/var/sxt/hadoop/ha/jn</value>
</property>

3.故障的切换方式

即：hdfs-site.xml

<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_dsa</value>
</property>

4.自动化

即：hdfs-site.xml

<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

----------------------zk集群

node02

新增server1 2 3配置

node03 node04同理

配置前先分发

node04同理

zk路径加入到path

在任意位置可以启动zk集群

node02

node03

此时查看node02的状态

此时查看node03的状态

验证zk集群

起journalnode集群

node02 node03同理

启动前第一台NN格式化

启动第一台NN

注意：第二台NN不能格式化根据官档用如上命令

如上图即为同步信息成功

zkfc格式化zk集群目的：生成前缀路径防止数据覆盖

再次查看node04 多了 hadoop-ha

启动hdfs集群

再次查看node04

jps 查看node01 node02 node03 node04 各个进程即角色

hdfs-ha集群即搭建完成！

验证：

干掉第一台的NN

node04上观察

第二台NN变成了active

干掉第二台的zkfc 自动故障转移进程

则第一台NN又变成了active

------------EOF----------------------------------EOF----------------------EOF--------------------