apache kafka高吞吐量分布式系统
1.核心概念
broker 消息代理 kafka运行的一个程序(或者理解为一台服务器)
topic 主题 log-tpicn magic-topic
Partition 分区 假设设置分区数为8,这8个分区会分别分布在不同的服务器上
Factor 复制因子数
Producer 生产者
Consumer 消费者
2安装kafka
以kafka_2.12-0.10.2.0为例安装
下载
kafka, zookeeper, kafka-manager
上传
解压
安装
1.安装zookeeper (kafka依赖于zookeeper,所以先安装zookeeper)
a.编辑conf/zoo.cfg配置文件
dataDir=tmp/data
clientPort=2181
b.启动zookeeper
执行./bin/zkServer.sh start 启动zookekper
执行./bin/zkCli.sh 查看zookeeper是否启动成功
2.安装kafka
a.编辑conf/serverProperties
broker.id=
num.partitions=
zookeeper.connect=
b.启动kafka
执行./bin/kafka-server-start.sh -daemon config/server.properties 启动kafka
执行 less logs/server.log查看日志,kafka是否启动成功
jps -l 查看kafka和zookeeper启动成功
3.安装kafka-manager
a.编辑 conf/application.conf
kafka-manager.zkhosts="192.168.153.132:2181"
kafka-manager也依赖于zookeeper
b.启动kafka-manager
nohup ./bin/kafka-manager &
c.web页面访问kafka-manager
http://192.168.153.132:9000
4.java代码实现生产者,消费者端代码