高吞吐量分布式系统kafka

apache  kafka高吞吐量分布式系统

1.核心概念

broker     消息代理   kafka运行的一个程序(或者理解为一台服务器)

topic         主题    log-tpicn     magic-topic 

Partition   分区   假设设置分区数为8，这8个分区会分别分布在不同的服务器上

Factor       复制因子数

Producer  生产者

Consumer  消费者

2安装kafka

以kafka_2.12-0.10.2.0为例安装

下载

kafka,    zookeeper,          kafka-manager

上传

解压

安装

1.安装zookeeper (kafka依赖于zookeeper,所以先安装zookeeper)

       a.编辑conf/zoo.cfg配置文件

                             dataDir=tmp/data

                             clientPort=2181

       b.启动zookeeper

                          执行./bin/zkServer.sh start 启动zookekper

                          执行./bin/zkCli.sh  查看zookeeper是否启动成功 

2.安装kafka

    a.编辑conf/serverProperties

                          broker.id=

                          num.partitions=

                         zookeeper.connect=

   b.启动kafka

                     执行./bin/kafka-server-start.sh -daemon config/server.properties 启动kafka

                     执行  less  logs/server.log查看日志，kafka是否启动成功

                   jps  -l     查看kafka和zookeeper启动成功

3.安装kafka-manager

 a.编辑 conf/application.conf

                    kafka-manager.zkhosts="192.168.153.132:2181"

       kafka-manager也依赖于zookeeper

b.启动kafka-manager

                  nohup ./bin/kafka-manager &

c.web页面访问kafka-manager

                http://192.168.153.132:9000

4.java代码实现生产者，消费者端代码