zookeeper

最新推荐文章于 2024-09-23 15:09:53 发布
最新推荐文章于 2024-09-23 15:09:53 发布
阅读量308 收藏
点赞数
分类专栏： Hadoop 安装文档 文章标签： zk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37332702/article/details/84667752
版权

zookeepe基础

什么是zookeeper

zookeeper是一个分布式协调服务，就是为用户的分布式程序提供协调服务
zookeeper是为别的分布式程序提供服务的
zookeeper本身也是一个分布式应用程序（只要有半数以上的节点存活，就可以对外提供服务）

zookeeper的功能

1、为用户提供数据的注册查询功能
2、为用户提供数据监听服务
3、通过心跳感知用户状态

特点

一个leader，多个follower组成集群
全局数据一致性：每一个server都保存一份相同的数据副本，client无论连接哪台server都可以获取到数据
更新的原子性，要不全部更新成功，要么就失败
实时性，在一定的时间范围内，client能读取到最新的数据

选取机制

1、初始化过程中的选举（选出已经启动的节点中的Id大的那个为老大）
先开启第一台机器，发出投票，总结出自己1张票，集群处于looking状态
开启第2台机器，发出投票，两台机器各一票，重新投，投票结果Id大的胜出。
2号是leader。
开启第3台机器，直接置为follower状态

2、运行过程中的选举
数据version、逻辑时钟、Id大的
数据版本大的，如果逻辑时钟小，则忽略该次选举结果，同步逻辑时钟，再重新选举

zookeeper的安装

集群安装

1、上传jar包并解压

tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local

2、配置环境变量

#vi /etc/profile
export ZK_HOME=绝对地址
exprt PATH=$PATH:$ZK_HOME/bin:$ZK_HOME/conf

#vi zoo.cfg
datadir=地址
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

3、配置服务器Id

mkdir zkdata
echo 1 >> zkdata/myid

4、分发安装包

scp -r zookeeper-3.4.10 root@hadoop2:$PWD
scp -r zookeeper-3.4.10 root@hadoop3:$PWD

5、在其他两台机器上修改myid号

cd /usr/local/zookeeper-3.4.10/zkdata/
echo 2 > myid
6、启动集群
./zkServer.sh start
./zkServer.sh status

高可用集群

企业级的集群：
NAMENODE+RESOURCEMANAGER ZKFC ACTIVE  各1台 128G内存 + 12核48线程 + 8*1T机械硬盘
NAMENODE+RESOURCEMANAGER ZKFC STANDBY 可以共用一台物理机 配置跟上面类似

ZOOKEEPER + JOURNALNODE 3台

DATANODE+NODEMANAGER 3台

测试版高可用集群：3台
192.168.137.112 hadoop1 DATANODE NODEMANAGER ZOOKEEPER JOURNALNODE NAMENODE ZKFC RESOURCEMANAGER
192.168.137.113 hadoop2 DATANODE NODEMANAGER ZOOKEEPER JOURNALNODE NAMENODE ZKFC RESOURCEMANAGER
192.168.137.114 hadoop3 DATANODE NODEMANAGER ZOOKEEPER JOURNALNODE

配置集群的先决条件

1、安装JDK

2、shh免密配置

NAMENODE-->DATANODE
hadoop1--->hadoop1 hadoop2 hadoop3
hadoop2--->hadoop1 hadoop2 hadoop3

3、关闭防火墙

4、设置静态IP

5、设置hostname

6、配置主机名和IP地址之间的映射关系

7、创建hadoop用户

8、配置sudo权限

9、时间同步

安装

1、解压

2、配置环境变量

#vi /etc/profile

3、配置HDFS的配置文件

#vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
JAVA_HOME=路径
#vi $HADOOP_HOME/etc/hadoop/core-site.xml
<configuration>
<!--指定hdfs的nameservice的Id为hadoop-->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop</value>
</property>

<!--指定客户端访问的zookeeper地址-->
<property>
   <name>ha.zookeeper.quorum</name>
   <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>

<!--配置读写缓存的大小-->
<property>
    <name>io.file.buffer.size</name>
    <value>4096</value>
</property>

<!--配置集群运行时的临时文件的存储路径-->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoopdata/tmp</value>
</property>
</configuration>
#vi $HADOOP-HOME/etc/hadoop/hdfs-site.xml
<configuration>
<!--指定hdfs的nameservices为hadoop,需要和core-site.xml中的配置保持一致-->
<property>
  <name>dfs.nameservices</name>
  <value>hadoop</value>
</property>

<!--指定hadoop下有两个namenode，名字分别为nn1,nn2-->
<property>
  <name>dfs.ha.namenodes.hadoop</name>
  <value>nn1,nn2</value>
</property>

<!--nn1的RPC通讯地址-->
<property>
  <name>dfs.namenode.rpc-address.hadoop.nn1</name>
  <value>hadoop1:9000</value>
</property>

<!--nn2的RPC通讯地址-->
<property>
  <name>dfs.namenode.rpc-address.hadoop.nn2</name>
  <value>hadoop2:9000</value>
</property>

<!--指定nn1的web ui的通讯地址-->
<property>
  <name>dfs.namenode.http-address.hadoop.nn1</name>
  <value>hadoop1:50070</value>
</property>

<!--指定nn2的web ui的通讯地址-->
<property>
  <name>dfs.namenode.http-address.hadoop.nn2</name>
  <value>hadoop2:50070</value>
</property>

<!--指定namenode的元数据在journalnode上的存放路径-->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/hadoop</value>
</property>

<!--配置失败自动切换的实现方式-->
<property>
  <name>dfs.client.failover.proxy.provider.hadoop</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!--配置隔离机制方法，多个机制之间用换行符分割，即每一个机制一行-->
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>
  sshfence
  shell(/bin/true)
  </value>
</property>

<!--使用sshfence隔离机制需要ssh免密-->
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>

<!--配置sshfence隔离机制的超时时间-->
<property>
  <name>dfs.ha.fencing.ssh.connect-timeout</name>
  <value>30000</value>
</property>

<!--开启namenode的失败自动切换-->
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>

<!--配置hdfs的副本数量-->
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

<!--指定hdfs的块大小-->
<property>
  <name>dfs.block.size</name>
  <value>134217728</value>
</property>

<!--指定hdfs的namenode的元数据的存储路径-->
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:///usr/local/hadoopdata/dfs/name</value>
</property>

<!--指定hdfs的datanode的数据的存储路径-->
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:///usr/local/hadoopdata/dfs/data</value>
</property>

<!--单个QJM进程（角色）存放本地edits文件的Linux地址-->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/usr/local/hadoopdata/journaldata</value>
</property>
</configuration>
#vi $HADOOP_HOME/etc/hadoop/mapred-site.xml
<configuration>
<!--指定mapreduce程序的运行框架名称-->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  <final>true</final>
</property>

<!--指定历史作业的内部通信地址-->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop1:10020</value>
</property>

<!--历史作业的web ui通讯地址-->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>hadoop1:19888</value>
</property>
</configuration>
#vi $HADOOP_HOME/etc/hadoop/yarn-site.xml
<configuration>
<!--开启RM的高可用-->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>

<!--指定RM的clustered Id-->
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>yrc</value>
</property>

<!--指定RM的名字-->
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>

<!--分别指定RM的地址-->
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>hadoop1</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>hadoop2</value>
</property>

<!--指定RM的web ui的通讯地址-->
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>hadoop1:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>hadoop2:8088</value>
</property>

<!--指定zk集群的地址-->
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>

<!--指定mapreduce使用shuffle过程-->
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
</configuration>
#vi slaves
hadoop1

检查ssh免密配置

4、分发安装包

scp core-site.xml hdfs-site.xml yarn-site.xml root@hadoop2:$PWD
scp core-site.xml hdfs-site.xml yarn-site.xml root@hadoop3:$PWD

5、启动集群

启动之前删除之前的配置目录

####第一次启动要严格的按照步骤进行

1、启动zookeeper集群
zkServer.sh start
2、启动journalnode
hadoop-daemon.sh start journalnode
3、格式化HDFS
hdfs namenode -format
4、同步namenode的数据
先启动初始化节点上的namenode
hadoop-daemon.sh start namenode
然后再复制name的元数据文件到nn2
第一种方法：scp - r hadoopdata/dfs

第二种(在第二台机器上执行)：hdfs namenode -bootstrapStandby
5、格式化ZKFC
hdfs zkfc -formatZK
6、启动HDFS
start-dfs.sh

6、启动yarn集群

start-yarn.sh
yarn只会启动一个resourcemanager，需要手动去启动其他的RM
yarn-daemon.sh start resourcemanager

hadoop的ha架构

ha架构

分布式共享锁

分布式共享锁

一个不会写代码的小黑
关注
专栏目录
zookeeper 3.8.4
05-17
**ZooKeeper 3.8.4：分布式协调服务详解** Apache ZooKeeper 是一个高度可靠的分布式协调服务，广泛应用于大数据、云计算以及微服务等领域的分布式系统中。Zookeeper 3.8.4 版本是该项目的最新稳定版本，提供了一...
zookeeper-3.9.1.zip
12-19
Apache ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它是集群的管理者，监视着分布式应用程序的运行状态，提供诸如命名服务、配置管理、分布式同步、组服务等分布式基础服务。Zookeeper的设计目标...
Zookeeper
最新发布
YCyjs的博客
09-23 2204
zookeeper。
ZooKeeper
学习记录和总结
06-05 1万+
ZooKeeper的概述，单体安装以及分布式安装、客户端操作命令以及Java客户端操作
zookeeper集群
weixin_55609824的博客
07-26 1万+
目录一、Zookeeper定义二、 zookeeper工作机制三、zookeeper特点四、Zookeeper数据结构五、zookeeper应用场景六、/l zookeeper选举机制 一、Zookeeper定义 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。 二、 zookeeper工作机制 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zooke
Zookeeper概述
亦翼的博客
08-05 2882
文章目录Zookeeper概述工作机制特点数据结构应用场景统一命名服务统一配置管理服务器节点动态上下线软负载均衡下载地址Zookeeper本地模式安装安装前的准备修改配置相关操作配置参数解读Zookeeper内部原理选举机制节点类型监听器原理数据写入流程 Zookeeper概述 百度百科：ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域
ZooKeeper 集群
qq_39144436的博客
03-22 4769
为了保证高可用，最好是以集群形态来部署 ZooKeeper，这样只要集群中大部分机器是可用的（能够容忍一定的机器故障），那么 ZooKeeper 本身仍然是可用的。通常 3 台服务器就可以构成一个 ZooKeeper 集群了。ZooKeeper 官方提供的架构图就是一个 ZooKeeper 集群整体对外提供服务。 上图中每一个 Server 代表一个安装 ZooKeeper 服务的服务器。组成 ZooKeeper 服务的服务器都会在内存中维护当前的服务器状态，并且每台服务器之间都互相保持着通信。集群间
1、zookeeper3.7.1安装与验证
热门推荐
alanchanchn的专栏
04-21 5万+
zookeeper的安装与验证分为4个部分，即环境准备、部署、验证和环境变量设置。由于zookeeper需要非root用户，所以需要创建用户alanchan。zookeeper集群需要奇数台机器，本示例使用3台机器，机器名称分别为server1、server2、server3。本集群是centos6版本。本示例是在已经安装完jdk8的环境中进行操作的，如果没有安装jdk，则需要提前安装jdk。
【Zookeeper】Windows下安装Zookeeper（图文记录详细步骤，手把手包安装成功）
tttzzzqqq2018的博客
08-03 2万+
Windows下安装Zookeeper（图文记录每一个步骤，手把手包安装成功）
Zookeeper学习笔记
Morning Sunshine的IT技术博客
03-26 5064
1）Zookeeper是什么 zookeeper，它是一个分布式服务框架，是大数据中的重要组件，它是一个具有高吞吐量的分布式协调系统，它的主要作用是为分布式系统提供协调服务，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 Dubbo官方推荐使用zookeeoer作为注册中心，注册中心负责服务地址的注册和查找，相当于目录服务。 什么是注册中心？举个简单的例子 ，就像字典目录 ，你要查个字， 找到目录， 然后找到对应的页， 然后字就找到了。 zk也是一个意思，把你要注册的服务给..
Zookeeper详解
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-04 1万+
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。Zookeeper是Apache的一个java项目，属于Hadoop系统，扮演管理员的角色。它为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper提供一种集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。
apache-zookeeper-3.8.4-bin.tar
04-10
Apache ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它是集群的管理者，监视着分布式应用程序，提供了诸如配置维护、命名服务、分布式同步、组服务等这些分布式基础服务。Zookeeper是Apache Hadoop...
zookeeper-3.4.6_zookeeper_
10-04
《Zookeeper：分布式服务治理的核心组件》 Zookeeper，作为Apache的一个开源项目，是分布式应用程序协调服务的基石，它是一个高可用、高性能的分布式一致性服务。在标题“zookeeper-3.4.6_zookeeper_”中，我们可以...
zookeeper连接工具
07-05
Zookeeper是一个分布式协调服务，由Apache Hadoop项目开发，广泛应用于大数据生态系统中，如HBase、Kafka等。它提供了一种可靠的方式来管理配置信息、命名服务、分布式同步以及组服务。Zookeeper连接工具则是为了...
hive报错MetaException(message:An exception was thrown while adding/validating class
小黑的博客
04-11 5099
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:An exception was thrown while adding/validating class(es) : Column length too big for column '...
hadoop
小黑的博客
11-23 3249
Hadoop生态圈 HDFS：分布式文件系统 YARN：分布式资源调度系统 MAPREDUCE：分布式计算框架 HIVE：数据仓库工具 HBASE：分布式海量数据库 ZOOKEEPER：分布式协调服务基础组件 MAHOUT：基于mapredue、spark、flink等分布式计算框架的机器学习算法库 OOZIE/AZKABAN：工作流调度平台 SQOOP：数据导入导出工具 FLUME：分布式...
创建JOB 查看JOB 执行JOB 删除JOB
小黑的博客
01-09 898
1、创建一个Job `` sqoop import \ --connect jdbc:mysql://cdh:3306/bap_ods \ --username root \ --password daisongchen \ --table user \ --delete-target-dir \ --target-dir /hive/hadoop/ods_user \ ; ``` 2、查...
数据仓库复习索引
小黑的博客
02-20 727
数据仓库 数据仓库是一个 面向主题的、集成的、随时间变化的、非易失的数据集合，用于支撑管理者的决策过程。 数据仓库中的粒度是指数据的细节或汇总成度。细节程度越高，粒度级别越低 数据仓库的数据来自各个业务应用系统 很多因素导致直接访问业务无法进行全局数据分析的工作，这也是需要一个数据仓库的原因所在 操作系统是一类专门用于管理面向十五的应用信息系统，而分析型系统是一种快速回答多维分...
Zookeeper基础操作指南
"这篇文档是关于在学习Spring框架过程中，如何使用和管理Zookeeper的一份命令集合。Zookeeper是一个分布式协调服务，常用于管理大型分布式系统。以下是一些基本的Zookeeper操作命令，包括安装、配置查看、状态检查...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值