zookeeper和kafka集群搭建

一、下载zookeeper-3.4.6.tar.gz

二、安装jdk1.7，并配置好hosts文件的机器名称

三、在目录data下，建立zookeeper目录，拷贝安装包到zookeeper，解压tar -zxvf zookeeper-3.4.6.tar.gz

四、进入解压目录的conf文件下，cp zoo_sample.cfg zoo.cfg 复制一份zoo.cfg文件

五、编辑zoo.cfg文件如下

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/data/zookeeper/zkdata

dataLogDir=/data/zookeeper/zkdatalog

clientPort=2181

server.1=ZJHZ-CMREAD-NEWSTAG03-VBUS-SQ:2888:3888

server.2=ZJHZ-CMREAD-NEWSTAG04-VBUS-SQ:2888:3888

server.3=ZJHZ-CMREAD-NEWSTAG05-VBUS-SQ:2888:3888

六、建立zkdata目录，并添加myid文件

#server1

echo "1" > /data/zookeeper/zkdata/myid

#server2

echo "2" > /data/zookeeper/zkdata/myid

#server3

echo "3" > /data/zookeeper/zkdata/myid

 

七、 启动服务并查看

1、启动服务

#进入到Zookeeper的bin目录下

cd /opt/zookeeper/zookeeper-3.4.6/bin#启动服务（3台都需要操作）

./zkServer.sh start

2、检查服务状态

#检查服务器状态

./zkServer.sh status

通过status就能看到状态：

./zkServer.sh status

JMX enabled by default

Using config: /data/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg  #配置文件

Mode: follower  #他是否为领导

 

至此zookeeper安装完毕

 

 

KAFKA下载及安装：

1.下载：http://mirrors.hust.edu.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

2.建立目录以及解压

cd /data,mkdir kafka,mkdir kafkalog,tar kafka_2.11-0.9.0.1.tgz

3.配置server.properties

broker.id=0   #给每台机器配置对呀的id

listeners=PLAINTEXT://ZJHZ-CMREAD-NEWSTAG03-VBUS-SQ:9092

log.dirs=/data/kafka/kafkalog  #日志的目录

在log.retention.hours=168配置下添加

message.max.byte=5242880

default.replication.factor=2

replica.fetch.max.bytes=5242880

delete.topic.enable=true  #是否可以通过命令行删除topic

zookeeper.connect=ZJHZ-CMREAD-NEWSTAG03-VBUS-SQ:2181,ZJHZ-CMREAD-NEWSTAG04-VBUS-SQ:2181,ZJHZ-CMREAD-NEWSTAG05-VBUS-SQ:2181 #配置zookeeper的地址及端口

 

4.启动

./kafka-server-start.sh -daemon ../config/server.properties

5.创建topic以及其他操作

#创建topic

./kafka-topics.sh --create --zookeeper 200.200.18.123:2181 --replication-factor 2 --partitions 1 --topic AndNews_PersonalizedRecommend_test

 

#创建一个broker，发布者

./kafka-console-producer.sh --broker-list 200.200.18.123:9092 --topic AndNews_PersonalizedRecommend_test

 

#创建一个订阅者

./kafka-console-consumer.sh --zookeeper 200.200.18.126:2181 --topic AndNews_PersonalizedRecommend_test --from-beginning

 

#查看topic

./kafka-topics.sh --list --zookeeper localhost:2181

#删除topic

./kafka-topics.sh  --delete --zookeeper localhost:2181  --topic AndNews_PersonalizedRecommend_test

#停止服务

./kafka-server-stop.sh

 

至此kafka搭建完成