Hadoop2.8.5的HDFS的高可用集群搭建(HDFS HA)

最新推荐文章于 2024-09-03 23:05:14 发布
最新推荐文章于 2024-09-03 23:05:14 发布
阅读量687 收藏 1
点赞数
分类专栏： 大数据架构 HDFS高可用集群搭建HA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014635374/article/details/104997451
版权

HDFS结合Zookeeper实现故障转移

HDFS HA集群角色的分配(在搭建好的集群的基础上进行修改相应的配置文件)

节点

                     角色

centoshadoop1

NameNode

DataNode

JournalNode

zkfc

centoshadoop2

NameNode

DataNode

JournalNode

zkfc

centoshadoop3

DataNode

JournalNode

centoshadoop4

DataNode

JournalNode

hdfs-site.xml 基本配置如下:

  <!--文件在HDFS系统中的副本数,一般小于DataNode的节点数-->

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property >

    <!--mycluster为自定义的值,下面的配置需要使用该值,指定hdfs的mycluster为id，需要和core-site.xml中的保持一致 -->

    <property>

        <name>dfs.nameservices</name>

        <value>mycluster</value>

   </property>

   <!-- mycluster下面有两个NameNode，分别是nn1，nn2 -->

   <property>

        <name>dfs.ha.namenodes.mycluster</name>

        <value>nn1,nn2</value>

   </property>

   <!-- nn1的RPC通信地址 -->

   <property>

        <name>dfs.namenode.rpc-address.mycluster.nn1</name>

        <value>centoshadoop1:8020</value>

   </property>

   <!-- nn1的http通信地址,配置NameNode节点的Web页面访问地址 -->

   <property>

        <name>dfs.namenode.http-address.mycluster.nn1</name>

        <value>centoshadoop1:50070</value>

   </property>

   <!-- nn2的RPC通信地址 -->

   <property>

        <name>dfs.namenode.rpc-address.mycluster.nn2</name>

        <value>centoshadoop2:8020</value>

   </property>

   <!-- nn2的http通信地址,配置NameNode节点的Web页面访问地址 -->

   <property>

        <name>dfs.namenode.http-address.mycluster.nn2</name>

        <value>centoshadoop2:50070</value>

   </property>

 

    <!-- 指定NameNode的共享edits元数据在JournalNode上的存放位置,一般配置奇数个,以适应zk选举 -->

   <property>

        <name>dfs.namenode.shared.edits.dir</name>

        <value>qjournal://centoshadoop1:8485;centoshadoop2:8485;centoshadoop3:8485/mycluster</value>

   </property>

    <!-- 指定JournalNode在本地磁盘存放数据的位置 ,JournalName用于存放元数据和状态信息的目录-->

   <property>

        <name>dfs.journalnode.edits.dir</name>

        <value>/home/hadoop/data/dfs/journaldata</value>

   </property>

<!-- 配置失败自动切换实现方式 ,客户端与NameNode通讯的地址-->

   <property>

        <name>dfs.client.failover.proxy.provider.mycluster</name>

        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

   </property>

    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行,解决HA脑裂问题-->

   <property>

        <name>dfs.ha.fencing.methods</name>

        <value>

        sshfence

        shell(/bin/true)

        </value>

   </property>

   <!-- 使用sshfence隔离机制时需要ssh免密登录,上述属性ssh通讯使用的秘钥文件-->

   <property>

        <name>dfs.ha.fencing.ssh.private-key-files</name>

        <value>/home/hadoop/.ssh/id_rsa</value> <!-- hadoop为当前用户名-->

   </property>

    <!--不检查用户权限 -->

    <property>

        <name>dfs.permissions.enabled</name>

        <value>false</value>

    </property>

     <!--nameNode的edits元数据在机器本地磁盘的存放位置 -->

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/home/hadoop/data/dfs/namenode</value>

    </property>

    <!-- DataNode节点数据在本地文件的存放位置-->

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/home/hadoop/data/dfs/datanode</value>

    </property>

     <!--开启NameNode失败自动切换,自动故障转移,mycluster为自定义配置的mycluster id的值-->

   <property>

        <name>dfs.ha.automatic-failover.enabled.mycluster</name>

        <value>true</value>

   </property>

core-site.xml基本配置如下:

 <!--fs.defaultFS為HDFS的默认访问路径,也是NameNode的访问路径,该处以使用新的支持HA的逻辑URI,若之前配置为hdfs://centoshadoop1:9000

        ,则需要该为如下值,其中mycluster为hdfs-site.xml中定义的nameservice ID值,Hadoop启动时会根据该值找到对应的两个NameNode-->

         <property>

            <name>fs.defaultFS</name>

            <value>hdfs://mycluster</value>

         </property>

         <property>

           <name>hadoop.tmp.dir</name>

           <value>file:/home/hadoop/data/dfs/tmp</value>

        </property>

        <!-- 指定zookeeper地址 -->

        <property>

             <name>ha.zookeeper.quorum</name>

             <value>node-1:2181,node-2:2181,node-3:2181</value>

        </property>

        <!--修改core-site.xml中的ipc参数,防止出现连接journalnode服务ConnectException-->

    <property>

        <name>ipc.client.connect.max.retries</name>

        <value>100</value>

        <description>Indicates the number of retries a client will make to establish a server connection.</description>

    </property>

    <property>

        <name>ipc.client.connect.retry.interval</name>

        <value>10000</value>

        <description>Indicates the number of milliseconds a client will wait for before retrying to establish a server connection.</description>

    </property>

===============================================================================

向其他三台机器分发下面的配置文件

scp -r hdfs-site.xml  hadoop@centoshadoop2:/home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5/etc/hadoop/

scp -r core-site.xml hadoop@centoshadoop2:/home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5/etc/hadoop/

启动与测试

1启动JournalNode进程

在分别删除各个节点centoshadoop*下~/data/dfs/namenode ,datanode,tmp,journalnode下的所有文件，执行下面的命令，启动三个节点的JournalNode进程:

cd /home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5

sbin/hadoop-daemon.sh start  journalnode

2格式化NameNode

在centoshadoop1节点执行如下:

cd /home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5

bin/hdfs namenode -format

3启动NameNode(活动NameNode)

在centoshadoop1节点执行如下命令：

sbin/hadoop-daemon.sh start namenode

4复制NameNode1元数据

在节点centoshadoop2上执行如下命令,会自动将centoshadoop1上的元数据复制到centoshadoop2节点上,也可以直接将centoshadoop1上的~/data/namenode相关元数据复制到相应的位置。

cd /home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5

bin/hdfs namenode -bootstrapStandby

 common.Storage:

Storage directory /home/hadoop/data/dfs/namenode has been successfully formatted.

日志信息如上,表示复制成功

 

(5)启动NameNode2(备用NameNode)

sbin/hadoop-daemon.sh start namenode

在浏览器中查看centoshadoop1与centoshadoop2中的namenode的状态。

http://centoshadoop1:50070/

http://centoshadoop2:50070/

 

都为standby状态,下面配置实现hdfs的HA自动故障转移,

6开启自动故障转移功能

在节点centoshadoop1中,修改hdfs-site.xml文件,加入下方的内容

 <!--开启NameNode失败自动切换,自动故障转移,mycluster为自定义配置的mycluster id的值-->

   <property>

        <name>dfs.ha.automatic-failover.enabled.mycluster</name>

        <value>true</value>

   </property>

7指定Zookeeper集群

在节点centoshadoop1中,修改core-site.xml文件,加入下方的内容

 

<!-- 指定zookeeper集群地址 -->

        <property>

             <name>ha.zookeeper.quorum</name>

             <value>node-1:2181,node-2:2181,node-3:2181</value>

        </property>

8同步其他节点

发送修改好的hdfs-site.xml和core-site.xml文件到集群其他节点,覆盖原来的文件

scp -r hdfs-site.xml  hadoop@centoshadoop2:/home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5/etc/hadoop/

scp -r core-site.xml  hadoop@centoshadoop2:/home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5/etc/hadoop/

9停止HDFS集群

在节点centoshadoop1执行如下命令

sbin/stop-dfs.sh

10初始化HA在Zookeeper中的状态(在centoshadoop1节点执行)

执行下面的命令，在Zookeeper中创建一个znode节点，存储自动故障转移系统的数据

bin/hdfs zkfc -formatZK

11启动HDFS集群

在centoshadoop1上执行命令：sbin/start-dfs.sh

12启动ZKFC守护进程

由于我们是手动管理集群上的服务,所用需要手动启动两个节点上的ZKFC守护进程.分别在centoshadoop1和centoshadoop2上执行如下命令:

sbin/hadoop-daemon.sh start zkfc  或者 bin/hdfs start zkfc

注意:(先在哪个namenode节点执行,哪个节点的状态为active)

13在节点centoshadoop1上执行停止namenode的命令,测试自动故障转移是否成功

sbin/hadoop-daemon.sh stop namenode

执行下面的命令,能看到输出words.txt中的内容说明故障转移配置成功

hdfs dfs -mkdir /input

hdfs dfs -put words.txt /input

hdfs dfs -cat /input/*   

 

解决Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is...

1  <!-- 指定ResourceManager所在的节点与访问端口(默认端口是8032)，若不指定,ResourceManager将默认在执行YARN启动命令的节点上启动-->

    <property>

    <name>yarn.resourcemanager.address</name>

    <value>centoshadoop1:8032</value>

  </property>

  <property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>centoshadoop1:8030</value>

  </property>

  <property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>centoshadoop1:8031</value>

  </property>

2 看看防火墙端口是否拦截

最终的实现hdfs ha高可用hadoop UI 界面如下:

(主节点)

http://centoshadoop1:50070/

(备用节点)

http://centoshadoop2:50070/

 

 

蜗牛杨哥
关注
专栏目录
【hadoop】HDFS-HA工作机制
SmallScorpion
09-07 770
一、HA概述 1）所谓HA（High Available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4）NameNode主要在以下两个方面影响HDFS集群： 1. NameNode机器发生意外，如...
Hadoop 2.8.5 完全分布式集群搭建
CNXLK的博客
10-18 2036
所用到的软件以及环境介绍： OS : CentOS7.5 JDK : 1.8.0_181 Hadoop ： 2.8.5 Zookeeper ： 3.4.12 Hbase ： 2.1.0    准备服务器3台，假设其地址为 192.168.1.160、192.168.1.161、192.168.1.162；我们以160为master、其余两台为slaver 修改主机名     ...
HDFS高可用集群搭建
不以物喜的博客
05-06 352
0 前提条件 1）安装JDK 2）安装zookeeper 3）集群规划 192.168.199.101 192.168.199.102 192.168.199.103 NameNode NameNode JournalNode JournalNode JournalNode DataNode DataNode DataNode ZK ZK ZK ResourceManager ResourceManager NodeManager NodeManager NodeMa
DataX的如何使用hdfsreader/writer
最新发布
别人笑我太疯癫，我笑他人看不穿。
09-03 866
从hive数据里抽，一般就上面这两种情况，注意原生情况下hdfsreader是没有提供数据过滤能力，就是where，因为抽取的时候一般都是按分区抽，或者干脆就是全量，对于where的需求在hive里面就已经解决了，一般是做一个dwd报表，说白了数据从hive出来的时候就没有where的业务必要，所以hdfsreader就不含有这种能力，在使用DataX的时候，对于高可用的Hadoop集群，要注意一点，我上面写的例子都是直接指定的namenode，如果你要把抽取程序运行到高可用的集群上的话，就要在。
高可用集群搭建
weixin_44778060的博客
11-14 536
分布式环境搭建 1. 集群规划 使用完全分布式，实现ResourceManager的高可用集群运行服务规划 2. 安装包解压 停止之前的Hadoop集群的所有服务，然后重新解压编译后的Hadoop压缩包，解压压缩包 node1节点执行以下命令进行解压 mkdir -p /opt/software cd /opt/software/ tar -zxvf hadoop-2.7.5.tar.gz -C /export/server/ cd /export/servers/hadoop
HDFS高可用集群的搭建
weixin_52134189的博客
04-02 1265
HDFS高可用集群的搭建与流程图
hadoop-2.8.5.tar.gz
05-22
3. **配置Hadoop**：在hadoop-2.8.5/etc/hadoop目录下，有多个配置文件，如`core-site.xml`、`hdfs-site.xml`和`yarn-site.xml`，需要根据你的集群情况进行适当修改。例如，设置HDFS的数据节点和名称节点，以及YARN...
hadoop2.8.5安装配置(伪分布式)
派大星的博客
08-21 594
前提 Hadoop配置
hadoop2.8.5@win64
03-06
Hadoop在访问本地文件和hdfs文件系统时，需要使用本地库，本地库中使用了Windows的API来实现类posix的文件访问许可。而这个本地库的实现就是Hadoop.dll和winutils.exe 编译环境： hadoop2.7.7 - hadoop3.1.1 JDK...
Centos7下安装Hadoop2.8.5
A_saying的博客
11-10 384
Centos7下安装Hadoop2.8.5 一、准备Linux环境 1、修改主机名 vi /etc/sysconfig/network 加入以下内容 NEKWORKING =yes HOSTNAME=hadoop0 2、修改主机名和IP的映射 vi /etc/hosts 加入以下内容 192.168.33.61 hadoop0 3、关闭防火墙 #查看防火墙状态 systemctl status firewalld #关闭防火墙 systemctl stopfirewalld #关闭防火墙开机自启
Hadoop HA(HDFS高可用)集群搭建
qq_57193542的博客
09-28 555
本文搭建hadoop的环境为 centos7.9 Hadoop3.1.3 jdk-8u301 zookeeper-3.4.6，我们首先需要准备好三台虚拟机，修改好主机名，设置静态IP，关闭防火墙，关闭selinux，以其中一台master节点为例具体操作如下 [root@master ~]# yum -y install vim [root@master ~]# vim /etc/hostname #只有一行，改为master,其他两台分别改为slave1,slave2 [root@master ~]#
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 3134
HDFS HA 高可用搭建详细图文教程
搭建高可用的hdfs集群
yeah_you_are的博客
05-19 347
1.安装jdk 下载jdk二进制安装包到linux系统，解压至指定位置，配置环境变量。 然后source /etc/profile。 我这里将所有的安装包放在/opt/software 下，软件安装在/opt/apps/目录下。 2.安装hadoop 下载hadoop二进制安装包，解压，配置环境变量，基本与jdk安装相同。配置hadoop的Javahome路径。 cd $HADOOP_HOME/etc/hadoop vim hadoop-env.sh 找到export JAVA_HOME=${JAVA_H
HDFS 高可用的环境搭建
m0_37658639的博客
05-16 2779
在开始Hadoop集群的HDFS高可用环境搭建之前，需要完成搭建工作。
HDFS HA高可用集群搭建教程
Aries_Chen_CSDN的博客
05-06 468
前言 如果对英文比较熟悉，建议直接看hadoop官网 本文以hadoop-2.10.0为例来分享一下Centos6上的hadoop高可用集群的安装部署。实验环境使用三个节点 node01.aries.com node02.aries.com node03.aries.com 服务分布 服务 node01 node02 node03 NameNode 是 是 否 DataNod...
HDFS高可用集群搭建简易步骤
liangsw
10-26 513
# 集群规划 NN ND JN ZK ZKFC RM master 1 1 1 slave1 1 1 1 1...
Hadoop高可用HDFS集群搭建详解
Mithrandir_One的博客
12-21 1150
说明： Hadoop高可用ＨＤＦＳ集群搭建步骤详解，在搭建的过程中会出现各种各样的问题，大家要养成看日志的习惯，大部分错误在启动或者 搭建的过程中都会在日志中体现，（由于日志信息过多，一般错误会在日志最后部分出现建议使用ｔａｉｌ命令查看日志，注意不要粘贴命令，格式问题） 集群图表：步骤１：准备工作 保证网络可以ｐｉｎｇ通 hosts文件要修改（也可不修） 防火墙关闭 - 关闭防火墙方法：
HDFS-HA集群
qq_53368181的博客
12-09 866
HDFS-HA自动故障转移工作机制 HA的自动故障转移依赖于ZooKeeper的以下功能： 1）故障检测：集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。 2）现役NameNode选择：ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该..
深入解析Hadoop 2.8.5核心特性与应用
资源摘要信息:"Hadoop2.8.5是Apache ...对于想要搭建大数据处理平台的组织和个人，Hadoop2.8.5提供了一个既可靠又功能丰富的解决方案。随着大数据技术的不断发展，Hadoop也在不断地更新和升级，以适应新的需求和挑战。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值