1.6 分布式协调服务系统Zookeeper
1.6.1 Zookeeper简介
1.6.2 Zookeeper的安装运行
1.6.1 Zookeeper简介
想想一下,你的集群是一个由1000多台或者更多的节点组成的一个节点,某一天你要对其里面的机器节点进行配置项的修改,想象一下你该怎么做:你会不会分别登陆到每台机器上去修改?
当我们的集群达到一定规模后我们对它进行管理将是一件十分困难的事情,不过不用担心,Zookeeper就是一个高效的为开发和维护hadoop集群而产生的一个开源的管理工具,是hadoop的分布式程序的协调服务。Zookeeper提供一些通用的服务,如统一命名服务
,配置信息管理,分布式间的同步管理,集群管理等。有了Zookeeper你就不用为管理集群而犯愁了。
1.6.2 Zookeeper的安装运行
单机模式
单机模式的zookeeper的安装十分的简单,只需要下载对应的zookeeper安装包,我用的是zookeeper-3.4.3,并解压到对应的文件目录下
为zookeeper配置环境变量,输入命令sudogedit /etc/profile,进去后将自己的环境变量添加进去,如
exportZOOKEEPER_HOME=/home/hadoop/hadoop/zookeeper-3.4.3
exportPATH=$PATH:$ZOOKEEPER_HOME/bin
保存并提交
source/etc/profile
在你执行启动脚本之前,还有几个基本的配置项需要注意一下,Zookeeper的配置文件在conf 目录下,这个目录下有zoo_sample.cfg 和log4j.properties,你需要做的就是将zoo_sample.cfg 改名为zoo.cfg,因为Zookeeper在启动时会找这个文件作为默认配置文件。下面详细介绍一下,这个配置文件中各个配置项的意义。
tickTime=2000 dataDir=/temp/zookeeper clientPort=2181 |
· tickTime:这个时间是作为Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime 时间就会发送一个心跳。
· dataDir:顾名思义就是Zookeeper 保存数据的目录,默认情况下,Zookeeper将写数据的日志文件也保存在这个目录里。
· clientPort:这个端口就是客户端连接Zookeeper 服务器的端口,Zookeeper会监听这个端口,接受客户端的访问请求。
伪分布式安装
伪分布式的安装十分的简单,只要在conf/zoo.cfg配置文件末尾添加
server.1=127.0.0.1:2888:3888
就可以了。添加的配置中2888是zookeeper服务之间的通信端口,3888是zookeeper与其他应用程序之间通信端口。
手动创建数据存放目录(/tmp/zookeeper),然后在目录中创建一个叫做"myid"的文件,文件内容为“1”。此处的1与上面的1对应。
这样伪分布式的安装就成功了