在上篇zookeeper集群的搭建中,我们已经完成了zookpeeper集群的搭建,本篇我们将讲解如何搭建kafka集群,并把kafka集群接入到zookpeeper集群。
软件环境:
- linux服务器多台
- 已经搭建好zookpeeper集群
- kafka_2.9.2-0.8.1.1.tgz
zookpeeper集群我们已经搭建好,kafka_2.9.2-0.8.1.1.tgz的下载地址:kafka_2.9.2-0.8.1.1.tgz。
在/usr/local目录下创建kafka目录,在kafka目录创建kafka存放消息的目录mkdir kafkaLogs,上传kafka_2.9.2-0.8.1.1.tgz到kafka目录。
tar -zxvf kafka_2.9.2-0.8.1.1.tgz
cd kafka_2.9.2-0.8.1.1/config/
配置kafka的服务项server.properties,vim server.properties
修改项
broker.id=0
port=19092
host.name=10.11.146.233
log.dirs=/tmp/kafka-logs
zookeeper.connect=10.11.146.233:12181,10.11.146.234:12181,10.11.146.235:12181
添加项(在log.retention.hours下添加)
message.max.bytes =5048576
default.replication.factor =2
replica.fetch.max.bytes =5048576
配置项完成后,进入kafka的bin目录,运行./kafka-server-start.sh -daemon ../config/server.properties启动kafka服务。
服务启动后,我们可以通过./kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test创建对话,通过./kafka-console-producer.sh –broker-list localhost:9092 –topic test创建生产者,通过./kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic test –from-beginning创建消费者。创建完成后,在生产者输入消息,在消费者便会输出消息。
kafka更多操作可以参考kafka API。