zookeeper完全分布式搭建

             计划在hadoop基础上增加hbase的集群。 依赖zookeeper,当然hbase自己带了一个zk,启动hbase可以默认启动zk.。但是我这里不用默认的zk.自己搭建一个zookeeper完全分布式集群。

     

--------------------------------------分隔线为网友的教程(感谢) start----------------------------------------------------

1.环境说明

在两台装有centos6.4(32位)的服务器上安装ZooKeeper,官网建议至少3个节点,资源有限,本次实验就2台了。

需要提前安装jdk,选择的版本是jdk-6u27-linux-i586.bin,下载地址:http://pan.baidu.com/s/1mgICcFA


2.配置主机名和ip映射的关系。

ZooKeeper集群所有的结点作为一个整体对分布式应用提供服务,因此需要各个节点实现互连,就要知道其他节点的主机和ip的映射关系。在每个节点上配置/etc/hosts文件,添加如下:

[plain]  view plain  copy
  1. 192.168.1.67 MasterServer  
  2. 192.168.1.241 SlaveServer  


3.安装ZooKeeper

1)下载ZooKeeper,建议选择稳定版,即stable的。

[plain]  view plain  copy
  1. wget http://apache.dataguru.cn/zookeeper/stable/zookeeper-3.4.6.tar.gz  
2)解压

[plain]  view plain  copy
  1. tar -zxvf zookeeper-3.4.6.tar.gz  
3)修改/etc/profile,添加 ZooKeeper路径

[plain]  view plain  copy
  1. export ZOOKEEPER_HOME=/home/hadooper/hadoop/zookeeper-3.4.6  
  2.   
  3. export PATH=$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH  
4)新建 zoo.cfg并 修改

[plain]  view plain  copy
  1. cp conf/zoo_sample.cfg conf/zoo.cfg   
[plain]  view plain  copy
  1. # The number of milliseconds of each tick  
  2. tickTime=2000  
  3. # The number of ticks that the initial   
  4. # synchronization phase can take  
  5. initLimit=10  
  6. # The number of ticks that can pass between   
  7. # sending a request and getting an acknowledgement  
  8. syncLimit=5  
  9. # the directory where the snapshot is stored.  
  10. # do not use /tmp for storage, /tmp here is just   
  11. # example sakes.  
  12. dataDir=/home/hadooper/hadoop/zookeeper-3.4.6/data  
  13. # the port at which the clients will connect  
  14. clientPort=2181  
  15. # the maximum number of client connections.  
  16. # increase this if you need to handle more clients  
  17. #maxClientCnxns=60  
  18. #  
  19. # Be sure to read the maintenance section of the   
  20. # administrator guide before turning on autopurge.  
  21. #  
  22. # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance  
  23. #  
  24. # The number of snapshots to retain in dataDir  
  25. #autopurge.snapRetainCount=3  
  26. # Purge task interval in hours  
  27. # Set to "0" to disable auto purge feature  
  28. #autopurge.purgeInterval=1  
  29. server.1=MasterServer:2888:3888  
  30. server.2=SlaveServer:2888:3888   
参数说明:

①tickTime:心跳时间,毫秒为单位。

②initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒。

③syncLimit:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 5*2000=10 秒。

④dataDir:存储内存中数据库快照的位置。

⑤clientPort:监听客户端连接的端口

⑥server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。

5)dataDir目录下创建myid文件,将内容设置为上⑥中的A值,用来标识不同的服务器。


4.远程复制安装文件

注:记得修改各节点的myid。

[plain]  view plain  copy
  1. scp -r zookeeper-3.3.4/ hadooper@SlaveServer:/home/hadooper/hadoop/    

转载请注明:http://blog.csdn.net/hwwn2009/article/details/40000881


5.测试ZooKeeper

1)各节点上启动

[plain]  view plain  copy
  1. [hadooper@MasterServer zookeeper-3.4.6]$ bin/zkServer.sh start  
2)jps查看进程

[plain]  view plain  copy
  1. 30056 QuorumPeerMain  
QuorumPeerMain是zookeeper进程,说明启动正常。
3)查看状态

[plain]  view plain  copy
  1. [hadooper@MasterServer zookeeper-3.4.6]$ bin/zkServer.sh status  
[plain]  view plain  copy
  1. JMX enabled by default  
  2. Using config: /home/hadooper/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg  
  3. Mode: follower  

[plain]  view plain  copy
  1. [hadooper@SlaveServer zookeeper-3.4.6]$ bin/zkServer.sh status  
  2. JMX enabled by default  
  3. Using config: /home/hadooper/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg  
  4. Mode: leader  

注:SlaveServer 为集群的leader。

4)停止ZooKeeper

[plain]  view plain  copy
  1. [hadooper@MasterServer zookeeper-3.4.6]$ bin/zkServer.sh stop  
转载请注明:http://blog.csdn.net/hwwn2009/article/details/40000881

----------------------------------------end---------------------------------------------------------------------------------


说一下我的情况:

 1.环境说明    

      我们有4台物理机(centos6.5)装了jdk,hadoop.其中node2机器有问题,挂了。这里忽略,就3台。

2.配置主机名和ip映射的关系。

     之前安装hadoop时,这步已经有了。

 3.安装ZooKeeper



按照网友所说即可。

4.远程复制安装文件

 我是直接复制给root了。

scp -r zookeeper-3.4.8/ root@Slave3:/home/

5.启动。

注意的问题:

1.权限问题。上传zk包,解压,用的root,用hadoop不行。跨ip复制的时候,我开始也是复制给hadoop@..的,也没成功。(这块问题还待确认)

2.myid文件。 

3.sh zkServer.sh status   节点没全部启动会提示有个错,我以为启动的不对。都启动后就好了。(这也浪费 了不少时间)

附上图片:



slave2 为loader

master  ,slave3为follower.



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值