hadoop：zookeeper集群

最新推荐文章于 2024-07-12 10:11:46 发布
最新推荐文章于 2024-07-12 10:11:46 发布
阅读量290 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43384009/article/details/106598262
版权

hadoop

1. zookeeper集群

新准备一台server8

[zjy@server4 hadoop]$ rm -fr /tmp/*
[zjy@server5 ~]$ rm -fr /tmp/*
[zjy@server6 ~]$ rm -fr /tmp/*
[zjy@server7 ~]$ rm -fr /tmp/*
[zjy@server8 ~]$ rm -fr /tmp/*

[root@server8 ~]# yum install -y nfs-utils
[root@server8 ~]# systemctl start rpcbind

[root@server8 ~]# useradd zjy
[root@server8 ~]# id zjy
uid=1000(zjy) gid=1000(zjy) groups=1000(zjy)

[root@server8 ~]# showmount -e 172.25.60.4
Export list for 172.25.60.4:
/home/zjy *
[root@server8 ~]# mount 172.25.60.4:/home/zjy /home/zjy

下载zookeeper-3.4.14.tar.gz包：
下载地址：
https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

[zjy@server4 ~]$ tar zxf zookeeper-3.4.14.tar.gz
[zjy@server4 ~]$ du -sh zookeeper-3.4.14
61M	zookeeper-3.4.14

环境配置：server4（active）和server8（standby 备用）做namenode的主从，
server5作为日志节点，server6作为ZooKeeper节点，server7作为datanode节点，NodeManager节点

[zjy@server5 conf]$ pwd
/home/zjy/zookeeper-3.4.14/conf
[zjy@server5 conf]$ cp zoo_sample.cfg zoo.cfg 
[zjy@server5 conf]$ vim zoo.cfg 
server.1=172.25.60.5:2888:3888
server.2=172.25.60.6:2888:3888
server.3=172.25.60.7:2888:3888
2888是数据同步端口 3888是选举端口

[zjy@server5 conf]$ mkdir /tmp/zookeeper
[zjy@server5 conf]$ echo 1 > /tmp/zookeeper/myid

[zjy@server6 ~]$ mkdir /tmp/zookeeper
[zjy@server6 ~]$ echo 2 > /tmp/zookeeper/myid

[zjy@server7 ~]$ mkdir /tmp/zookeeper
[zjy@server7 ~]$ echo 3 > /tmp/zookeeper/myid

启动zookeeper

[zjy@server5 zookeeper-3.4.14]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/zjy/zookeeper-3.4.14/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

[zjy@server6 zookeeper-3.4.14]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/zjy/zookeeper-3.4.14/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

[zjy@server7 ~]$ cd zookeeper-3.4.14
[zjy@server7 zookeeper-3.4.14]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/zjy/zookeeper-3.4.14/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

查看zookeeper的状态：server6是leader

[zjy@server5 zookeeper-3.4.14]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/zjy/zookeeper-3.4.14/bin/../conf/zoo.cfg
Mode: follower

[zjy@server6 zookeeper-3.4.14]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/zjy/zookeeper-3.4.14/bin/../conf/zoo.cfg
Mode: leader

[zjy@server7 zookeeper-3.4.14]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/zjy/zookeeper-3.4.14/bin/../conf/zoo.cfg
Mode: follower

2. 配置server4和server8作为namenode的主从

免密

[zjy@server4 ~]$ ssh-copy-id server8
[zjy@server4 ~]$ ssh server8
Last login: Sat Jun  6 11:16:13 2020
[zjy@server8 ~]$ logout
Connection to server8 closed.

[zjy@server4 hadoop]$ pwd
/home/zjy/hadoop
[zjy@server4 hadoop]$ vim etc/hadoop/core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://masters</value> # 指定 hdfs 的 namenode 为 masters (名称可自定义)
    </property>

<property>
<name>ha.zookeeper.quorum</name>
<value>172.25.60.5:2181,172.25.60.6:2181,172.25.60.7:2181</value> # 指定 zookeeper 集群主机地址
</property>
</configuration>

[zjy@server4 hadoop]$ pwd
/home/zjy/hadoop
[zjy@server4 hadoop]$ vim etc/hadoop/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
# 指定 hdfs 的 nameservices 为 masters,和 core-site.xml 文件中的设置保持一
致
    <property>
        <name>dfs.nameservices</name>
        <value>masters</value>
    </property>
# masters 下面有两个 namenode 节点,分别是 h1 和 h2 (名称可自定义)
    <property>
        <name>dfs.ha.namenodes.masters</name>
        <value>h1,h2</value>
    </property>
# 指定 h1 节点的 rpc 通信地址
    <property>
        <name>dfs.namenode.rpc-address.masters.h1</name>
        <value>172.25.60.4:9000</value>
    </property>
# 指定 h1 节点的 http 通信地址
    <property>
        <name>dfs.namenode.http-address.masters.h1</name>
        <value>172.25.60.4:9870</value>
    </property>
# 指定 h2 节点的 rpc 通信地址
    <property>
        <name>dfs.namenode.rpc-address.masters.h2</name>
        <value>172.25.60.8:9000</value>
    </property>
# 指定 h2 节点的 http 通信地址
    <property>
        <name>dfs.namenode.http-address.masters.h2</name>
        <value>172.25.60.8:9870</value>
    </property>
# 指定 NameNode 元数据在 JournalNode 上的存放位置
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://172.25.60.5:8485;172.25.60.6:8485;172.25.60.7:8485/masters</value>
    </property>
# 指定 JournalNode 在本地磁盘存放数据的位置
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/tmp/journaldata</value>
    </property>
# 开启 NameNode 失败自动切换
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
# 配置失败自动切换实现方式
    <property>
        <name>dfs.client.failover.proxy.provider.masters</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
# 配置隔离机制方法,每个机制占用一行
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
                sshfence
                shell(/bin/true)
        </value>
    </property>
# 使用 sshfence 隔离机制时需要 ssh 免密码
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/zjy/.ssh/id_rsa</value>
    </property>
# 配置 sshfence 隔离机制超时时间
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
</configuration>

3. 启动hdfs集群

3.1 启动日志节点
[zjy@server5 ~]$ hdfs --daemon start journalnode
[zjy@server5 ~]$ jps
7220 Jps
6779 QuorumPeerMain
7181 JournalNode

journaldata数据节点存在
[zjy@server5 ~]$ ll -d /tmp/journaldata/
drwxrwxr-x 2 zjy zjy 6 Jun  6 15:26 /tmp/journaldata/

[zjy@server6 ~]$ hdfs --daemon start journalnode
[zjy@server6 ~]$ jps
6752 QuorumPeerMain
7142 JournalNode
7181 Jps
[zjy@server6 ~]$ ll -d /tmp/journaldata/
drwxrwxr-x 2 zjy zjy 6 Jun  6 15:30 /tmp/journaldata/

[zjy@server7 ~]$ hdfs --daemon start journalnode
[zjy@server7 ~]$ jps
6308 QuorumPeerMain
6710 JournalNode
6749 Jps
3.2 格式化hdfs集群
[zjy@server4 hadoop]$ bin/hdfs namenode -format

Namenode 数据默认存放在/tmp,需要把数据拷贝到 h2(server8)
[zjy@server4 tmp]$ ls
hadoop-zjy  hadoop-zjy-namenode.pid  hsperfdata_zjy
[zjy@server4 tmp]$ scp -r hadoop-zjy server8:/tmp/
VERSION                                                                                                         100%  215   261.2KB/s   00:00    
seen_txid                                                                                                       100%    2     1.8KB/s   00:00    
fsimage_0000000000000000000.md5                                                                                 100%   62    55.6KB/s   00:00    
fsimage_0000000000000000000                                                                                     100%  398   441.4KB/s   00:00
3.3 开启dfs

格式化zookeeper

[zjy@server4 ~]$ hdfs zkfc -formatZK

启动hdfs集群

[zjy@server4 hadoop]$ sbin/start-dfs.sh

查看各节点状态

[zjy@server4 hadoop]$ jps
13649 DFSZKFailoverController
13286 NameNode
13702 Jps

[zjy@server8 ~]$ jps
14608 Jps
14568 DFSZKFailoverController
14446 NameNode

[zjy@server5 ~]$ jps
14514 Jps
14213 QuorumPeerMain
14284 JournalNode
14396 DataNode

[zjy@server6 ~]$ jps
13969 QuorumPeerMain
14267 Jps
14044 JournalNode
14143 DataNode

[zjy@server7 ~]$ jps
14130 DataNode
13929 QuorumPeerMain
14254 Jps
14031 JournalNode
3.4 测试高可用

在这里插入图片描述
在这里插入图片描述
关掉server4上的namenode进程

[zjy@server4 hadoop]$ jps
13649 DFSZKFailoverController
13286 NameNode
14090 Jps
[zjy@server4 hadoop]$ kill 13286
[zjy@server4 hadoop]$ jps
13649 DFSZKFailoverController
14107 Jps

此时server8切换为active
在这里插入图片描述

[zjy@server6 zookeeper-3.4.14]$ bin/zkCli.sh

[zk: localhost:2181(CONNECTED) 6] get /hadoop-ha/masters/ActiveBreadCrumb

masters_x0012_h2server8 �F(�>
cZxid = 0x100000007
ctime = Sat Jun 06 17:17:37 CST 2020
mZxid = 0x10000000d
mtime = Sat Jun 06 17:49:32 CST 2020
pZxid = 0x100000007
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 28
numChildren = 0

重起server4

[zjy@server4 hadoop]$ hdfs --daemon start namenode
[zjy@server4 hadoop]$ jps
13649 DFSZKFailoverController
14369 NameNode
14445 Jps

4. yarn的高可用

[zjy@server4 hadoop]$ pwd
/home/zjy/hadoop

[zjy@server4 hadoop]$ vim etc/hadoop/yarn-site.xml 
# 激活 RM 高可用
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
# 指定 RM 的集群 id
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>RM_CLUSTER</value>
</property>
# 定义 RM 的节点
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
# 指定 RM1 的地址
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>172.25.60.4</value>
</property>
# 指定 RM2 的地址
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>172.25.60.8</value>
</property>
# 激活 RM 自动恢复
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
# 配置 RM 状态信息存储方式,有 MemStore 和 ZKStore
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
# 配置为 zookeeper 存储时,指定 zookeeper 集群的地址
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>172.25.60.5:2181,172.25.60.6:2181,172.25.60.7:2181</value>
</property>

启动yarn:server4和server8上运行ResourceManager，server5、server6和server7上运行NodeManager

[zjy@server4 hadoop]$ sbin/start-yarn.sh
Starting resourcemanagers on [ 172.25.60.4 172.25.60.8]
Starting nodemanagers
[zjy@server4 hadoop]$ jps
13649 DFSZKFailoverController
14369 NameNode
14854 ResourceManager
14998 Jps

[zjy@server5 ~]$ jps
14835 Jps
14213 QuorumPeerMain
14284 JournalNode
14396 DataNode
14733 NodeManager

在这里插入图片描述
在这里插入图片描述

[zk: localhost:2181(CONNECTED) 7] get /yarn-leader-election/RM_CLUSTER/AActiveBreadCrumb
RM_CLUSTER_x0012_rm2(rm2是在server8上)
cZxid = 0x100000019
ctime = Sat Jun 06 18:05:08 CST 2020
mZxid = 0x100000019
mtime = Sat Jun 06 18:05:08 CST 2020
pZxid = 0x100000019
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 17
numChildren = 0
weixin_43384009
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop之Zookeeper
像风一样的男子
07-20 669
Hadoop之ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协同服务。是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件
Zookeeper的安装
KZZ‘s PDG的博客
07-27 123
1. zookeeper的数据模型 ZooKeeper 的数据模型，在结构上和标准文件系统的非常相似，拥有一个层 次的命名空间，都是采用树形层次结构. [外链图片转存失败(img-D8cKa8QC-1564195651611)(assets/wps27.png)] ZooKeeper 树中的每个节点被称为—个Znode。和文件系统的目录树一样，ZooKeeper 树中的每个节点可以拥有子节点...
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
最新发布
永远好奇，无限进步！
07-12 1836
上节完成了SqoopCDC差量数据迁移，从MySQL->Hive。本节开始ZooKeeper。它是一个分布式协调服务的开源框架。主要用于解决分布式集群中应用系统的一致性问题，例如怎么避免同时操作同一数据造成脏数据的问题。分布式系统中数据存在一致性的问题！.每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。2C4G 编号 h1212C4G 编号 h1222C2G 编号 h123
hadoop+zookeeper集群整合
04-24
这里，`ha.zookeeper.quorum`指定了Zookeeper集群的服务器地址和端口，通常是Zookeeper服务器的客户端连接端口（默认为2181）。 接下来，我们需要配置HDFS的高可用设置。在`hdfs-site.xml`文件中，我们需要定义...
hadoop+hbase+zookeeper集群配置流程及文件
08-28
配置Zookeeper集群涉及： 1. 安装Zookeeper：在所有节点上部署Zookeeper，设置`ZOOKEEPER_HOME`环境变量。 2. 修改`zoo.cfg`配置：包括数据存储路径、集群节点列表（server.1, server.2, ...）等。 3. 分配myid：在...
掌握分布式协调之钥：ZooKeeper在Hadoop集群中的应用全解析
06-22
2. **可扩展性**：Hadoop可以处理从GB到PB级别的数据，并且可以通过增加更多的节点来扩展集群。 3. **可靠性**：Hadoop通过数据复制（默认复制因子为3）来提高数据的可靠性和容错能力。 4. **简单性**：Hadoop的...
HadoopHbaseZookeeper集群配置
09-17
【Hadoop Hbase Zookeeper集群配置】涉及到在Linux环境下搭建分布式计算和数据存储系统的流程，主要涵盖以下几个关键知识点： 1. **集群环境设置**：一个基本的Hadoop Hbase Zookeeper集群至少需要3个节点，包括1个...
hadoop+zookeeper+hbase集群搭建配置说明
06-22
在大数据处理领域，Hadoop、Zookeeper和HBase是三个非常关键的组件，它们共同构建了一个高效、可扩展的数据仓库集群。以下是对这三个组件及其在集群搭建中的配置说明的详细阐述。 1. Hadoop：Hadoop是Apache软件...
Hadoop -- ZooKeeper
Cool_Pepsi的博客
03-07 471
1. 什么是ZooKeeper? ZooKeeper 就是动物园管理员，他是用来管 hadoop（大象）、Hive(蜜蜂)等的管理员。 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop、Hbase、kafka、dubbo等重要组件。 ZooKeeper是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeepe...
【Hadoop】之ZooKeeper
zhangkai's blog
12-11 297
1、ZooKeeper简介　　ZooKeeper是一个为分布式应用所设计的开源协调服务。可以为用户提供同步、配置管理、分组和命名等服务。ZooKeeper提供一个易于编程的环境，它的文件系统使用了我们熟悉的目录树结构,ZooKeeper是使用Java编写的，但是它支持Java和C两种编程语言接口。2、ZooKeeper的设计目标　　分布式环境下的程序和活动为了达到协调一致的目的，通常具有某些共同的特
Hadoop之zookeeper集群
weixin_44701468的博客
06-18 364
一、配置 1、到官网下载zookeeper的安装包 2、上传并解压到相应的目录 3、配置zookeeper的环境变量：vi /etc/prfofile 4、使环境变量生效：source /etc/profile 到zookeeper的conf目录，修改zoo_sample.cfg为zoo.cfg 修改内容为 dataDir为数据目录. 可以是任意目录。 其中server是关键字，后面的数字1(或者2或者3)是不固定的，可以自己指定，但是他们之间要能够比较出大小，代表当前服务器的选举ID。192.168.
hadoop生态圈----zookeeper
m0_58258383的博客
07-30 1309
hadoop生态圈中组件众多，在我们生产与学习中。不同服务之间的协调·过于繁琐，于是zookeeper应运而生，Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目。本文将详细介绍zookeeper的特性、优点与部署等方面问题。......
Hadoop————Zookeeper强化
Jorocco的博客
06-22 756
1、Zookeeper的作用 1.管理大量主机的协同服务。 2.分布式应用，实现分布式读写技术。 3.zk提供的服务： Naming service //按名称区分集群中的节点. Configuration management //对加入节点的最新化处理。 Cluster management //实时感知集群中节点的增减. Leader...
Hadoop中ZooKeeper的知识
浩然然然的博客
06-24 529
本文主要介绍zookeeper的基础知识、监听机制以及leader选举
hadoop+Zookeeper=HA(超级详细)
互联网知识分享
05-12 956
集群模式下配置一个文件myid，这个文件在dataDir=/softWare/zookeeper-3.4.10/zkData目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。（1）如果”主节点-A”挂了，这时候它所注册的节点”master-00001″将被自动删除，ZooKeeper会自动感知节点的变化，然后再次发出选举，这时候”主节点-B”将在选举中获胜，替代”主节点-A”成为新的主节点。
大数据技术之Hadoop(五)——Zookeeper
weixin_63507910的博客
01-09 1425
Zookeeper的安装与认识
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值