kafka 是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。
(官网地址:http://kafka.apache.org)
本文讲解在三台虚拟机中安装部署kafka集群。
1.安装独立zookeeper(kafka有自带的zookeeper,但独立安装方便集群的管理)
2.下载解压kafka
下载kafka:http://kafka.apache.org/downloads.html
在三台机中分别安装kafka:
#tar zxvf kafka_2.11-0.10.0.0.tgz
3.修改kafka配置server.properties
#vim config/server.properties
1)设置broker.id 每台机取唯一值,本文中分别为0、1、2
2)设置host.name,填服务器IP,本文中使用默认配置
3)设置zookeeper.connect,zookeeper连接
4.启动kafka
1)#zookeeper-3.4.6/bin/zkServer.sh start //先启动zookeeper
2)#kafka_2.11-0.10.0.0/bin/kafka-server-start.sh config/server.properties //再启动kafka
5.常用命令
启动Kafka server:
bin/kafka-server-start.sh config/server.properties
停止Kafka server:
bin/kafka-server-stop.sh
查看topic:
bin/kafka-topics.sh --list --zookeeper localhost:2181
创建 topic:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
发送消息:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
启动consumer 查看输出:
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning