ZooKeeper 3.4.5 分布式环境搭建详解

最新推荐文章于 2024-09-30 22:24:45 发布
最新推荐文章于 2024-09-30 22:24:45 发布
阅读量7.4k 收藏 9
点赞数 3
分类专栏： 大数据之Hadoop 大数据之Hadoop 文章标签： zookeeper hadoop hbase 大数据 环境搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lemon_tree12138/article/details/51445689
版权

概述

上一篇中，我们说到了关于 Hadoop-2.2.0 集群的搭建。在这个系列中，Zookeeper 是必不可少的。本文会介绍 Zookeeper-3.4.5 的安装，后面会介绍 HBase-0.96 的安装。希望于你有益。

版权说明

著作权归作者所有。
商业转载请联系作者获得授权，非商业转载请注明出处。
本文作者：Q-WHai
发表日期： 2016年5月18日
本文链接：http://blog.csdn.net/lemon_tree12138/article/details/51445689
来源：CSDN
更多内容：分类 >> 大数据之 Hadoop

环境说明

  1. CentOS release 6.5 (Final) ( master )
  2. CentOS release 6.5 (Final) ( slave1 )
  3. CentOS release 6.5 (Final) ( slave2 )
  4. JDK-1.8.0_92 ( Oracle )
  5. Hadoop-2.2.0
  6. 虚拟机环境： VMware® Workstation 12 Pro
序号虚拟机 IPhostname
1172.16.2.117master
2172.16.2.115slave1
3172.16.2.116slave2

Zookeeper 环境搭建

下载

http://zookeeper.apache.org/releases.html
进入 Apache 的官网下载一个合适的 Zookeeper 版本进行安装。

$ tar -zxvf zookeeper-3.4.5.tar.gz
$ mv zookeeper-3.4.5 ~/zookeeper

配置环境变量

$ sudo vim /etc/profile

在文件的末尾处，添加如下信息

export ZOOKEEPER_HOME=/home/hadoop/zookeeper
export PATH=$PATH:${ZOOKEEPER_HOME}/bin

设置上面的配置立即生效

$ source /etc/profile

配置 zoo.cfg

配置 zoo.cfg 的路径是 ${ZOOKEEPER_HOME}/conf/zoo.cfg，不过一般情况下，这个文件是不存在的，需要从 zoo_sample.cfg 复制获得

$ cp zoo_smaple.cfg zoo.cfg
$ vim zoo.cfg

配置文件中的内容如下

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/hadoop/data/zookeeper
clientPort=2181

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

配置防火墙

这里选择关闭防火墙

$ sudo service iptables stop
$ sudo chkconfig iptables off  # 设置防火墙不随系统启动，这一条你可以选择性添加

配置 myid

[hadoop@master ~]$ echo 1 > /home/hadoop/data/zookeeper/myid
[hadoop@slave1 ~]$ echo 2 > /home/hadoop/data/zookeeper/myid
[hadoop@slave2 ~]$ echo 3 > /home/hadoop/data/zookeeper/myid

注意这里 myid 的路径要与上面 zoo.cfg 中 dataDir 的路径一致。否则你的 Zookeeper 将无法启动。
另外上面的三条指令实际上是在三台虚拟机上完成的，这里需要注意，别傻乎乎地在同一台虚拟机上搞得起劲。

配置下发

$ scp -r zookeeper/ slave1:~/
$ scp -r zookeeper/ slave2:~/

这里与 Hadoop 中的下发一样，将整个文件夹下发到你想要安放的目录。只是，这里需要在 scp 后面加上一个 -r，不然你就需要将 zookeeper 文件先压缩，再下发，再在各个子节点下再解压。麻烦死了~，还不如一个 -r 把控全局来得爽。

节点配置修改

这里主要有两个地方需要修改

  1. myid
  2. dataDir
    myid 不用再说了，上面已经讲过了。这里的 dataDir 路径，你必须保证它存在，所以你要去创建它。

启动测试

$ zkServer.sh start

JMX enabled by default
Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

需要注意的是，要在每一台机器上都启动 zookeeper 才可以。

启动验证

$ jps

[hadoop@master ~]$ jps
6888 QuorumPeerMain
7353 Jps

如果这里存在 QuorumPeerMain 进程的话，就说明 Zookeeper 启动成功了。

功能验证

上面的启动验证只是说明了你的 Zookeeper 已经启动了，并不能说明，你的 Zookeeper 启动成功了。我们需要使用下面的指令查看 Zookeeper 是否启动成功。

$ zkServer.sh status

[hadoop@master ~]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

果然，这里的输出信息足以说明我们的 zookeeper 没有启动成功。百度了一通，完全无用！还有的一些完全是在胡说八道。

解决方案

在网上搜了很多的解决方案都不可行。也看了 zookeeper.out 信息，都没有什么发现。于是尝试着修改了 dataDir 的路径到 Zookeeper 的安装目录下（这是网上的教程中都用的目录），并重启计算机，问题解决。当然，我不能保证你按照我的步骤一定可以解决问题。只是把我解决此问题的过程分享给你而已，如果你未能解决它，可能你是另外的情况，但我希望你也可以不吝啬地把你的解决方案分享给大家。

验证结果
master

[hadoop@master zookeeper]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg
Mode: leader

slave1

[hadoop@slave1 conf]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg
Mode: follower

slave2

[hadoop@slave2 conf]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg
Mode: follower

测试 zkClient

zkCli.sh -server master:2181

Connecting to master:2181
2016-05-18 09:48:28,985 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.5-1392090, built on 09/30/2012 17:52 GMT
2016-05-18 09:48:28,990 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=master
2016-05-18 09:48:28,990 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_92
( ... 此处省略 N 条 ... )
Welcome to ZooKeeper!
2016-05-18 09:48:29,095 [myid:] - INFO  [main-SendThread(master:2181):ClientCnxn$SendThread@966] - Opening socket connection to server master/172.16.2.117:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2016-05-18 09:48:29,309 [myid:] - INFO  [main-SendThread(master:2181):ClientCnxn$SendThread@849] - Socket connection established to master/172.16.2.117:2181, initiating session
2016-05-18 09:48:29,420 [myid:] - INFO  [main-SendThread(master:2181):ClientCnxn$SendThread@1207] - Session establishment complete on server master/172.16.2.117:2181, sessionid = 0x154c4bf7e640000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: master:2181(CONNECTED) 0]

至此，我们的 Zookeeper 终于搭建完成了。以下是搭建完成之后在 Zookeeper 里面的玩耍：

[zk: master:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: master:2181(CONNECTED) 1] create /newfile hello
Created /newfile
[zk: master:2181(CONNECTED) 2] ls /
[zookeeper, newfile]
[zk: master:2181(CONNECTED) 3] get /newfile
hello
cZxid = 0x200000002
ctime = Wed May 18 09:50:50 PDT 2016
mZxid = 0x200000002
mtime = Wed May 18 09:50:50 PDT 2016
pZxid = 0x200000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0
[zk: master:2181(CONNECTED) 4] set /newfile gootday

WATCHER::

WatchedEvent state:SyncConnected type:NodeDataChanged path:/newfile
cZxid = 0x200000002
ctime = Wed May 18 09:50:50 PDT 2016
mZxid = 0x200000003
mtime = Wed May 18 09:53:55 PDT 2016
pZxid = 0x200000002
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 0
[zk: master:2181(CONNECTED) 7] get /newfile
gootday
cZxid = 0x200000002
ctime = Wed May 18 09:50:50 PDT 2016
mZxid = 0x200000003
mtime = Wed May 18 09:53:55 PDT 2016
pZxid = 0x200000002
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 0
[zk: master:2181(CONNECTED) 8] delete /newfile
[zk: master:2181(CONNECTED) 9] ls /
[zookeeper]
[zk: master:2181(CONNECTED) 10] quit
Quitting...
2016-05-18 09:56:03,079 [myid:] - INFO  [main:ZooKeeper@684] - Session: 0x154c4bf7e640000 closed
2016-05-18 09:56:03,080 [myid:] - INFO  [main-EventThread:ClientCnxn$EventThread@509] - EventThread shut down

Ref

  • http://www.iteblog.com/archives/904

征集

如果你也需要使用ProcessOn这款在线绘图工具，可以使用如下邀请链接进行注册：
https://www.processon.com/i/56205c2ee4b0f6ed10838a6d

Q-WHai
关注
专栏目录
Zookeeper完全分布式模式配置
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-26 675
本实验任务主要完成基于ubuntu环境的搭建Zookeeper完全分布式模式配置工作。通过完成本实验任务，要求学生熟练掌握Zookeeper完全分布式模式配置的方法，为后续实验的开展奠定zookeeper平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Zookeeper完全分布式模式的环境搭建Ubuntu(三台节点:mater：192.168.0.3,slave1：192.168.0.2,slave2：192.168.0.4)、Zookeeper3.4.5A
Zookeeper3.4.5集群搭建(详+，一看就会).docx
05-04
**Zookeeper 3.4.5 集群搭建步骤详解** Apache ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，它是集群的管理者，监控着集群中各个节点的状态，并根据节点提交的反馈进行下一步合理操作。这篇文章...
环境搭建--Hadoop完全分布式
最新发布
weixin_53545333的博客
09-30 1733
Hadoop的完全分布式安装
分布式系统环境搭建
weixin_41974027的博客
01-09 2459
一、系统架构3 二、项目环境搭建3 　　1.前端3 　　　　1.1负载均衡3 　　　　1.2前端技术框架----Vue.js（开发环境搭建）3 　　　　　　1.2.1 node.js安装3 　　　　　　1.2.2 cnpm安装脚手架vue-cli5 　　　　　　1.2.3构建vue项目6 　　　　　　1.2.4项目启动6 　　2.后台6 　　　　2.1 tomcat服务器6 　　　　　　2.1.1下载与安装6 　　　　　　2.1.2配置7 　　　　2.2 Re...
一脸懵逼搭建Zookeeper分布式集群
weixin_34237596的博客
10-12 108
1：首先将http://zookeeper.apache.org/ 　　下载好的zookeeper-3.4.5.tar.gz上传到三台虚拟机上，之前博客搭建好的（安装Zookeeper之前记得安装好你的jdk哦）。 2：然后对zookeeper-3.4.5.tar.gz进行解压缩操作： [hadoop@master ~]$ tar -zxvf zookeeper-3.4.5.tar.gz ...
分布式环境搭建
FlyDevon的博客
04-10 210
#配置网卡1、修改配置文件 vi /etc/sysconfig/network-scripts/ifcfg-eth02、添加如下信息 ONBOOT=yes BOOTPROTO=none 这个不让他自动获取ip IPADDR=192.168.199.200 这个是你要填写的网段ip NETMASK=255.255.255.0你的子网掩码 GATEWAY=192.168.199.1 填写你的网关 如 ...
zookeeper-3.4.5-cdh5.15.2.tar.gz
03-15
《Zookeeper：分布式协调服务详解》 Zookeeper是Apache Hadoop项目下的一个子项目，它是一个分布式的，开放源码的分布式应用程序协调服务，是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下...
zookeeper-3.4.5-cdh5.15.1.tar.gz
10-31
《Zookeeper 3.4.5-CDH5.15.1 安装详解》 Zookeeper，作为Apache的一款开源分布式协调服务，是大数据生态系统中的重要组件，它为分布式应用提供高效且可靠的命名服务、配置管理、集群同步、分布式锁等功能。在本篇...
zookeeper-3.4.5。
03-31
《Zookeeper：分布式协调服务详解》 Zookeeper是Apache Hadoop项目下的一个子项目，它是一个分布式的，开放源码的分布式应用程序协调服务，是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下...
zookeeper-3.4.5
01-30
zookeeper-3.4.5，zookeeper客户端，dubbo框架，zookeeper-3.4.5，zookeeper客户端，dubbo框架
ZOOKEEPER3.4.5
09-22
ZOOKEEPER-3.4.5 服务治理管理，搭配DUBBO分布式部署应用
分布式环境的搭建
weixin_33980459的博客
02-22 80
在测试或学习分布式应用的时候，我们亟需一个环境来搭建我们的分布式应用，下面来谈谈我的搭建过程。 一、 使用工具 VMware workstation 10 rhel-server-6.6-x86_64-dvd.iso apache-tomcat-7.0.69.tar.gz jdk-7u79-linux-x64.rpm MySQL-server-5.5.48-1.rhel5.x86_6...
zookeeper安装教程（zookeeper3.4.5为例）
weixin_33920401的博客
08-07 377
zookeeper有单机、伪集群、集群三种部署方式，可根据自己对可靠性的需求选择合适的部署方式。下边对这三种部署方式逐一进行讲解。   一、单机安装 1.1 下载 进入要下载的版本的目录，选择.tar.gz文件下载 下载链接：http://archive.apache.org/dist/zookeeper/   1.2 安装 使用tar解压要安装的目录即可，以3.4.5版本为例 这里以解压到/us...
Zookeeper 分布式环境搭建
DaiSnow的博客
07-07 529
Zoopkeeper数据模型结构与Linux文件系统很像，整体上可以看作一棵树，树的每个节点称作一个znode。每一个znode默认存储1MB数据，每个znode都可以通过路径唯一标识。 选举机制 当启动的机器数大于集群总机器数的一半，开始选举leader，myid最大的选为leader。 此后，剩余的机器启动后，只能作为follower。 当leader down后，从剩余的机器中依据myid最大的作为leader;如果down掉的机器又重新启动，只能作为follower。 数据版本最新，myid越大
分布式环境的简单搭建
New soul
11-19 5458
需要的工具：Nginx、tomcat、memcached。  Nginx：链接：http://pan.baidu.com/s/1sl5HjXz 密码：duk8 tomcat：链接：http://pan.baidu.com/s/1dEQijFN 密码：h3ba memcached：链接：http://pan.baidu.com/s/1nvoUwIX 密码：jl48 memcach
搭建zookeeper的分布式环境
baidu_24545901的博客
04-13 1455
zookeeper的存在是为了进行分布式协调服务的   1、什么是分布式； 分布式顾名思义，就是把系统分布到多台计算机上，运用多台计算机的资源处理一些逻辑等，比如一个电商的网站后台需要有 用户、订单、商品等这些表，但是这些表都在一台计算机上，就会同时消耗一台计算机的系统资源，要求的计算机系统的配置必须要高，因此要提高并行计算的效率，把多个业务模块拆分在不通的计算机上，运用分布式的技术处理问题...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值