（超详细）基于Zookeeper的Hadoop HA集群的搭建

最新推荐文章于 2024-08-15 23:00:58 发布
最新推荐文章于 2024-08-15 23:00:58 发布
阅读量1w 收藏 66
点赞数 20
分类专栏： 大数据学习之路 文章标签： hadoop zookeeper big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JunLeon/article/details/120689889
版权

基于Zookeeper的Hadoop HA集群的搭建

JunLeon——go big or go home

 前言：

        高可用（high availability，HA）指的是若当前工作中的机器宕机了，系统会自动处理异常，并将工作无缝地转移到其他备用机器上，以保证服务的高可靠性与可用性。

        Hadoop HA是hadoop2.0后新添加的特性，包括NameNode HA和ResourceManager HA。

        NameNode HA采用双NameNode进行高可用，克服hadoop1.x中的单点问题。运行后，一个NameNode处于active状态，则另一处于standby状态。active NameNode节点对外提供服务，而standby NameNode节点不对外提供服务，仅仅同步active NameNode节点的状态，以便在active NameNode节点失效时快速切换继续提供服务。

        Zookeeper是一个分布式协调服务，Zookeeper即可用来保证Hadoop集群的高可用性。通过zookeeper集群与Hadoop2.X中的两个NameNode节点之间的通信，保证集群中总有一个可用的NameNode（即active NameNode），从而实现双NameNode节点构成的NameNode HA，达到HDFS高可用性。同Zookeeper也可用来保证ResourceManager HA，即实现YARN高可用性。

说明：

该篇Zookeeper的安装及Hadoop HA的配置是基于Hadoop分布式的基础上去操作的，所用的命令都是在root用户下执行，hadoop的安装路径为：/opt/hadoop-2.7.3

Hadoop分布式的安装请查看：大数据学习——Hadoop集群完全分布式的搭建（超详细）_JunLeon的博客-CSDN博客

1、安装配置Zookeeper集群

        Zookeeper集群由基数台机器组成，分为leader和follower两个角色。写入数据时，要写入leader，leader同意后，再通知follower写入。客户端读取数据时，由于数据都是一样的，可以从任意一台机器上读取。而leader是选举出来的，集群中任意一台机器发现没有leader时，则会推荐自己为leader，当超过半数的机器同意它为leader时，选举结束。这样当leader宕机后很快就会选举出新的leader，保证工作正常进行。

（1）下载并上传解压Zookeeper安装包

  1. 环境准备

官网下载：Index of /zookeeper，自行选择版本下载即可

我使用的是zookeeper-3.4.12版本，如需下载：百度云链接：百度网盘 请输入提取码 提取码：8888

  1. 上传解压安装

使用XShell或者其他远程连接工具连接虚拟机进行上传到Linux系统的/opt/目录下

执行命令解压上传后的压缩包:

tar -zxvf /opt/zookeeper-3.4.12.tar.gz -C /opt/

  1. 配置环境变量

vi /etc/profile

以下包括jdk、hadoop的环境变量配置：

export JAVA_HOME=/opt/jdk1.8.0_161
export HADOOP_HOME=/opt/hadoop-2.7.3
export ZOOKEEPER_HOME=/opt/zookeeper-3.4.12
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$PATH

添加ZOOKEEPER_HOME变量：

使配置文件生效：

source /etc/profile

（2）修改配置文件

1 生成配置文件zoo.cfg

进入zookeeper主目录下的conf目录，将zoo_sample.cfg复制一份为zoo.cfg文件

cd /opt/zookeeper-3.4.12/conf
cp zoo_sample.cfg zoo.cfg

2 dataDir属性设置Zookeeper的数据存放的位置

vi zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

参数说明：

tickTime=2000 表示zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，时间单位是毫秒

initLimit=10 表示Zookeeper服务器集群中连接到leader的Follower服务器初始化连接是最长能忍受多少个心跳的时间间隔数，总的时间长度就是10*2000=20秒。

syncLimit=5 表示标识leader与follower之间发送消息，请求和应答时间长度。最长不能超过多少个tickTime的时间长度，总的时间长度就是5*2000=10秒。

dataDir=/tmp/zookeeper 表示zookeeper的数据存放目录，默认在/tmp/zookeeper，此为修改项，默认情况下Zookeeper将写数据的日志文件也保存在这个目录里，也可以手动指定日志存放的目录。

clientPort=2181 表示客户端（应用程序）连接Zookeeper服务器的端口，Zookeeper会监听这个端口接受客户端的访问请求，默认为2181。

进入zoo.cfg文件后，定位到12行，配置Zookeeper数据存放的路径：

dataDir=/opt/zookeeper-3.4.12/data/zData

3 指定Zookeeper集群中各个节点的信息

vi zoo.cfg

打开zoo.cfg文件，在末尾添加如下几行

server.1=BigData01:2888:3888
server.2=BigData02:2888:3888
server.3=BigData03:2888:3888

各个节点的信息格式为： server.X=A:B:C

X-->指zookeeper节点的myid，标识这个是第几号服务器。

A-->指每个节点的IP地址或者主机名。

B-->指follower和leader交换消息所使用的端口。

C-->指选举leader所使用的端口。

注：server后面的数字是1到255，所以Zookeeper集群最多可以有255台机器。

3 创建myid文件

在Zookeeper主目录下创建dataDir指定的目录

mkdir -p data/zData

在创建好的目录下创建一个文件，文件名为myid，并输入id

cd /opt/zookeeper-3.4.12/data/zData
vi myid

输入1即可，另外两台节点分别为2、3

4 配置好的Zookeeper分发到其他节点

scp -r /opt/zookeeper-3.4.12 root@BigData02:/opt

scp -r /opt/zookeeper-3.4.12 root@BigData03:/opt

配置另外两台机器的myid，分别配置2、3

5 启动Zookeeper 集群及查看状态

启动Zookeeper命令：

在启动Zookeeper之前，首先关闭防火墙：service iptables stop

zkServer.sh start    # 需要在每一台机器上执行此命令

查看Zookeeper命令：

zkServer.sh status

此时能查看到其中有一台被选举为leader，另外两台为follower

 如果查看状态时出现如下问题：

 注：可能是防火墙没有关闭，关闭防火墙即可

关闭Zookeeper命令：

zkServer.sh stop

2、高可用分布式集群节点规划

        本环境是在前面分布式的基础上增加的Zookeeper环境搭建，并采取Hadoop的双NameNode来保证HDFS的高可用性，故把Secondary NameNode改成NameNode。其中ResourceManager服务记录着当前集群的资源分配情况和Job的运行状态，可能会出现单点故障问题，故增加一个ResourceManager服务节点，并利用Zookeeper来实现ResourceManager自动故障转移，从而保证ResourceManager HA，实现YARN的高可用性。

节点规划

服务（角色）BigData01 （192.168.182.10）BigData02 （192.168.182.20）BigData03 （192.168.182.30）
NameNode√√
DataNode√√√
ResourceManager√√
NodeManager√√√
Zookeeper√√√
JobHistoryServer√

注：比较Hadoop分布式集群规划，将Secondary NameNode改为NameNode，采用了双ResourceManager，多了zookeeper节点。

3、安装配置Hadoop HA集群

因在Hadoop分布式的基础上进行配置，故无密码登录不做详细讲解，包括hadoop-env.sh、yarn-site.xml、mapred-site.xml、slaves等文件配置，详情请参照：大数据学习——Hadoop集群完全分布式的搭建（超详细）_JunLeon的博客-CSDN博客

（1）配置文件

  1. 配置hadoop-env.sh文件

    vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh #在25行配置java路径即可

    配置此文件和hadoop完全分布式配置一样，可以不用去配置

  2. 配置core-site.xml文件

    vi /opt/hadoop-2.7.3/etc/hadoop/core-site.xml 在<configuration>中配置：

    <configuration>
    <property>
        <!-- 指定HDFS的通信地址，在NameNode HA中连接到nameservice的，
                        值为mycluster是需要在下一个hdfs-site.xml中配置的 -->
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <!-- 指定hadoop的临时目录，默认情况下NameNode和DataNode产生的数据都会存放在该路径 -->
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoopHA/tmp</value>
    </property>
    <property>
        <!-- 指定Zookeeper地址（2181端口参考zoo.cfg配置文件） -->
        <name>ha.zookeeper.quorum</name>
        <value>BigData01:2181,BigData02:2181,BigData03:2181</value>
    </property>
</configuration>

  3. 配置hdfs-site.xml文件

    vi /opt/hadoop-2.7.3/etc/hadoop/hdfs-site.xml 在<configuration>中配置：

    <configuration>
    <property>
        <!-- 给NameNode集群定义一个services name（NameNode集群服务名） -->
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
         <!-- 设置nameservices包含的NameNode名称，分别命名为nn1,nn2 -->
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <!-- 设置名为nn1的NameNode的RPC的通信地址和端口号 -->
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>BigData01:9000</value>
    </property>
    <property>
        <!-- 设置名为nn1的NameNode的HTTP的通信地址和端口号 -->
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>BigData01:50070</value>
    </property>
    <property>
        <!-- 设置名为nn2的NameNode的RPC的通信地址和端口号 -->
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>BigData02:9000</value>
    </property>
    <property>
        <!-- 设置名为nn2的NameNode的HTTP的通信地址和端口号 -->
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>BigData02:50070</value>
    </property>
    <property>
        <!-- 设置NameNode的元数据在JournalNode上的存放路径
                （即NameNode集群间的用于共享的edits日志的journal节点列表） -->
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://BigData01:8485;BigData02:8485;BigData03:8485/mycluster</value>
    </property>
    <property>
         <!-- 指定JournalNode上存放的edits日志的目录位置 -->
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/hadoopHA/tmp/dfs/journal</value>
    </property>
    <property>
        <!-- 开启NameNode失败自动切换 -->
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
         <!-- 配置NameNode失败后自动切换实现方式（客户端连接可用状态的NameNode所用的代理类） -->
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
         <!-- 配置隔离机制 -->
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
         <!-- 设置使用隔离机制时需要的SSH免密登录 -->
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    <property>
         <!-- 设置HDFS副本数量 -->
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
         <!-- 设置NameNode存放的路径 -->
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoopHA/tmp/dfs/name</value>
    </property>
    <property>
         <!-- 设置DataNode存放的路径 -->
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoopHA/tmp/dfs/data</value>
    </property>
</configuration>

  4. 配置yarn-site.xml文件

    vi /opt/hadoop-2.7.3/etc/hadoop/hdfs-site.xml 在<configuration>中配置：

    <configuration>
    <property>
        <!-- 启用ResourceManager的HA功能 -->
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <property>
        <!-- 开启ResourceManager失败自动切换 -->
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <!-- 给ResourceManager HA集群命名id -->
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-cluster</value>
    </property>
    <property>
        <!-- 指定ResourceManager HA有哪些节点 -->
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <!-- 指定第一个节点在那一台机器 -->
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>BigData01</value>
    </property>
    <property>
        <!-- 指定第二个节点在那一台机器 -->
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>BigData02</value>
    </property>
    <property>
        <!-- 指定ResourceManager HA所用的Zookeeper节点 -->
        <name>yarn.resourcemanager.zk-address</name>
        <value>BigData01:2181,BigData02:2181,BigData03:2181</value>
    </property>
    <property>
        <!-- 启用RM重启的功能，默认为false -->
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <property>
        <!-- 用于状态存储的类 -->
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <property>
        <!-- NodeManager启用server的方式 -->
        <name>yarn-nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <!-- NodeManager启用server使用算法的类 -->
        <name>yarn-nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <!-- 启用日志聚合功能 -->
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <!-- 聚集的日志在HDFS上保存最长的时间 -->
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
    </property>
    <property>
        <!-- 聚集的日志在HDFS上保存最长的时间 -->
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/opt/hadoopHA/logs</value>
    </property>
</configuration>

    以下配置属于默认的配置，有时运行MapReduce并行计算处理任务是=时出错而导致任务失败，故可以将以下配置参数加到yarn-site.xml文件内

    <property>
    <!-- ApplicationMaster通过该地址向RM申请资源、释放资源，
                本设置是ResourceManager对ApplicationMaster暴露的地址 -->
    <name>yarn.resourcemanager.scheduler.address.rm1</name>
    <value>BigData01:8030</value>
</property>
<property>
    <!-- NodeManager通过该地址交换信息 -->
    <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
    <value>BigData01:8031</value>
</property>
<property>
    <!-- 客户机通过该地址向RM提交对应应用程序操作 -->
    <name>yarn.resourcemanager.address.rm1</name>
    <value>BigData01:8032</value>
</property>
<property>
    <!-- 管理员通过该地址向RM发送管理命令 -->
    <name>yarn.resourcemanager.admin.address.rm1</name>
    <value>BigData01:8033</value>
</property>
<property>
    <!-- RM HTTP访问地址，查看集群信息 -->
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>BigData01:8088</value>
</property>
<property>
    <!-- 同rm1对应内容 -->
    <name>yarn.resourcemanager.scheduler.address.rm2</name>
    <value>BigData02:8030</value>
</property>
<property>
    <!-- NodeManager通过该地址交换信息 -->
    <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
    <value>BigData02:8031</value>
</property>
<property>
    <!-- 客户机通过该地址向RM提交对应应用程序操作 -->
    <name>yarn.resourcemanager.address.rm2</name>
    <value>BigData02:8032</value>
</property>
<property>
    <!-- 管理员通过该地址向RM发送管理命令 -->
    <name>yarn.resourcemanager.admin.address.rm2</name>
    <value>BigData02:8033</value>
</property>
<property>
    <!-- RM HTTP访问地址，查看集群信息 -->
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>BigData02:8088</value>
</property>

  5. 配置mapred-site.xml文件

    配置此文件和hadoop完全分布式的MapReduce配置一样，可以不用去配置

  6. 配置slaves文件

    配置此文件和hadoop完全分布式的slaves配置一样，可以不用去配置

（2）将配置好的文件分发到其他节点上

scp  -r  /opt/hadoop-2.7.3/etc/hadoop root@BigData02:/opt/hadoop-2.7.3/etc/
scp  -r  /opt/hadoop-2.7.3/etc/hadoop root@BigData03:/opt/hadoop-2.7.3/etc/

（3）格式化NameNode

格式化之前先启动journalnode节点

hadoop-daemon.sh start journalnode  #三台机器都要执行该命令

格式化：

hdfs namenode -format   #格式化HDFS
hdfs zkfc -formatZK     #格式化Zookeeper

如果没有先启动journalnode节点，格式化出现以下问题：8485拒绝连接

如果启动journalnode还是出现上面问题， 可以在core-site.xml文件中添加如下参数：

<!--修改core-site.xml中的ipc参数,防止出现连接journalnode服务ConnectException-->
<property>
    <name>ipc.client.connect.max.retries</name>
    <value>100</value>
    <description>Indicates the number of retries a client will make to establish a server connection.</description>
</property>
<property>
    <name>ipc.client.connect.retry.interval</name>
    <value>10000</value>
    <description>Indicates the number of milliseconds a client will wait for before retrying to establish a server connection.</description>
</property>

注意：配置这两个参数化，NameNode稳定运行，但是格式化花的时间比较长，请耐心等待。

（4）启动/停止集群

启动集群命令：

开启全部节点（启动HDFS和YARN）

start-all.sh    #启动HDFS和YARN

启动Zookeeper

hadoop-daemon.sh start zkfc     #三台机器都要执行

启动HistoryServer节点(在BigData03机器上执行)

mr-jobhistory-daemon.sh start historyserver

单独启动HDFS和YARN

start-hdfs.sh   #启动HDFS
start-yarn.sh   #启动YARN

验证（查看是否启动成功）

jps

停止集群命令：

停止全部节点

stop-all.sh     #停止HDFS和YARN

单独停止HDFS和YARN

stop-hdfs.sh    #停止HDFS
stop-yarn.sh    #停止YARN

（5）Web端访问

 

4、查询集群信息及测试HDFS高可用性

（1）验证HDFS的高可用性

（2）验证YARN的高可用性

IT路上的军哥
关注
专栏目录
基于zookeeper搭建Hadoop的HA高可用集群
qq_43634424的博客
01-10 1509
目录 一.准备工作 （一）.先配置一台机器作为模板，后面用于克隆 （二）.配置其他两台机器基础配置 （三）.ssh免密操作 二.配置集群 （一）.zookeeper集群配置(配置成功后需要拍快照) （二）.配置hadoop集群(配置完毕后拍快照) 一.准备工作 (这里用的这几个版本 apache-zookeeper-3.7.0-bin.tar.gz hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz ） （一）.先配置一...
Hadoop之zookeeper集群
weixin_44701468的博客
06-18 387
一、配置 1、到官网下载zookeeper的安装包 2、上传并解压到相应的目录 3、配置zookeeper的环境变量：vi /etc/prfofile 4、使环境变量生效：source /etc/profile 到zookeeper的conf目录，修改zoo_sample.cfg为zoo.cfg 修改内容为 dataDir为数据目录. 可以是任意目录。 其中server是关键字，后面的数字1(或者2或者3)是不固定的，可以自己指定，但是他们之间要能够比较出大小，代表当前服务器的选举ID。192.168.
ZooKeeper 集群的详细部署
最新发布
slb190623的博客
08-15 3514
ZooKeeper 集群的详细部署
hadoop02--zookeeper集群搭建
一句话：干就完了
09-07 1804
安装zookeeper需要保证自己的虚拟机上有jdk，因为我们的zookeeper其实是用Java来进行编写的，因此就需要有jdk环境.............................................................
Hadoop环境搭建----（利用ZooKeeper搭建Hadoop的HA集群）
打卤的博客
03-21 867
1、安装 Zookeeper 集群 具体安装步骤参考之前的文档 https://blog.csdn.net/liyyzz33/article/details/88689594 2、安装 hadoop 集群 具体安装步骤参考之前的文档 https://blog.csdn.net/liyyzz33/article/details/88397249 这只需要根据以上安装好的集群进行修改配置 3、修改ha...
hadoop+Zookeeper=HA(超级详细)
互联网知识分享
05-12 1062
集群模式下配置一个文件myid，这个文件在dataDir=/softWare/zookeeper-3.4.10/zkData目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。（1）如果”主节点-A”挂了，这时候它所注册的节点”master-00001″将被自动删除，ZooKeeper会自动感知节点的变化，然后再次发出选举，这时候”主节点-B”将在选举中获胜，替代”主节点-A”成为新的主节点。
4.7 Hadoop+zookeeper实现HA
尹成的技术博客
11-15 510
集群规划  zk01——zk05，5台centos  zk01——zk05部署了5个zookeeper  zk01为namenode节点  zk05为namenode的HA节点  zk02、zk03、zk04为datanode节点 搭建过程  修改主机名，hosts  搭建5台zookeeper，启动后5台机器都要zkServer.sh status查看状态，如果有启动没成功的节点...
基于zookeeper的hadoop ha集群安装过程
04-16
在本文中，我们将详细介绍基于ZooKeeper的Hadoop HA集群的安装过程。 一、 安装环境介绍 在安装基于ZooKeeper的Hadoop HA集群之前，需要了解安装环境的要求。首先，需要至少三台机器，分别作为NameNode、DataNode和...
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
Zookeeper和Hadoop分布式集群搭建
weixin_44468025的博客
04-22 1740
Zookeeper和Hadoop分布式集群搭建 用三台虚拟机搭建如上集群 Zookeeper下载地址： https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz Hadoop下载地址： https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 环境配置：JDK1.8+Zookeeper3.5.8+hadoo
基于 ZooKeeper 搭建 Hadoop 高可用集群
黑白影的博客
06-10 929
一、高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，故下面先进行讲解： 1.1 高可用整体架构 HDFS 高可用架构如下： 图片引用自：https://www.edur...
Hadoop+Zookeeper HA集群搭建
qq_43020727的博客
11-20 300
一、服务器 三个节点的虚拟机(master1、master2、slave) IP地址： 192.168.199.121 192.168.199.122 192.168.199.123 配置第一台（192.168.199.121）虚拟机网卡： [root@master1 ~] vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 T...
Hadoop -- ZooKeeper
Cool_Pepsi的博客
03-07 534
1. 什么是ZooKeeper? ZooKeeper 就是动物园管理员，他是用来管 hadoop（大象）、Hive(蜜蜂)等的管理员。 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop、Hbase、kafka、dubbo等重要组件。 ZooKeeper是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeepe...
Hadoop之Zookeeper
花有重开日，人无再少年。
04-16 986
Hadoop之ZookeeperHadoop之Zookeeper一、试验环境二、Zookeeper的基本安装配置三、Zookeeper完全分布模式配置四、Zookeeper同步安装和配置五、配置Zookeeper节标识文件六、Zookeeper完全分布模式启动和验证 Hadoop之Zookeeper 一、试验环境 五台独立的PC机或虚拟机 主机之间有有效的网络连接 每台主机内存2G以上，硬盘20G 所有主机安装Centos 7.4_64操作系统 所有主机已经完成网络属性配置 二、Zookeeper的基本
Hadoop-HDFS HA集群搭建（zookeeper）
weixin_46662378的博客
06-15 907
hadoop-hdfs ha模式搭建
利用zookeeper模拟实现HA高可用
热门推荐
好学若饥，谦卑若愚
06-19 1万+
利用zookeeper模拟实现HA高可用 1、需求 在分布式场景中，对于主从架构来说，最大的问题就是单点故障。当学过zookeeper之后，我们都知道，可以利用zookeeper集群来帮助实现Hadoop的HA，那到底Hadoop的HA是如何实现的呢？ 2、实现思路 zookeeper给我们提供了两个非常重要的组件： 1、...
Zookeeper（四）Hadoop HA高可用集群搭建
weixin_30455067的博客
04-20 164
一、高可就集群搭建 1、集群规划 2、集群服务器准备 （1） 修改主机名（2） 修改 IP 地址（3） 添加主机名和 IP 映射（4） 同步服务器时间（5） 关闭防火墙（6） 配置免密登录（7） 安装 JDK 3、集群安装 （1）安装zookeeper集群 （2）安装hadoop集群 转载于...
zookeeper HA 实现负载均衡
skiof007的专栏
07-18 3623
在网上看到太多千篇一律的zookeeper相关的文章，都是定义，没有一个是有完整代码的，这对自己学习zk十分困难，其实要用zk实现主备切换、负载均衡其实没有自己想象的那么难，只需要了解zk的基本特性即可。在这里贴上自己写的代码与自己的理解，大家多多指教！ 一、思路 软负载说简单点，就是将Client端的请求均匀的分配到不同 的server端。下面我们来说说实现的基本思路： 注册：
hadoopHA搭建
10-01
hadoopHA搭建分为三个步骤。首先，需要在`hadoop-2.6.0-cdh5.14.0/etc/hadoop`目录下修改`hdfs-site.xml`文件，将`fs.defaultFS`的值设置为`hdfs://cluster1`，将`hadoop.tmp.dir`的值设置为`/export/servers/hadoop-2.6.0-cdh5.14.0/HAhadoopDatas/tmp`，将`ha.zookeeper.quorum`的值设置为`node01:2181,node02:2181,node03:2181`。然后，在同样的目录下，先复制`mapred-site.xml.template`为`mapred-site.xml`，然后修改`mapred-site.xml`文件，将`mapreduce.framework.name`的值设置为`yarn`。最后，在`hadoop-2.6.0-cdh5.14.0/etc/hadoop`目录下修改`yarn-site.xml`文件，根据需求进行配置。 完成上述步骤后，即可完成hadoopHA的搭建。可以通过以下指令来查看zookeeper节点信息：`get /hadoop-ha/cluster1/ActiveStandbyElectorLock`。同时，可以使用以下指令来测试集群的工作状态：`hdfs dfsadmin -report`，`hdfs haadmin -getServiceState nn1`，`./hadoop-daemon.sh start namenode`，`./hadoop-daemon.sh start zkfc`。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT路上的军哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值