kafka的分布式安装

目录

版本下载

安装部署

kafka在zookeeper中的⽬录说明

---

版本下载

安装包：http://archive.apache.org/dist/kafka/1.1.1/kafka_2.11-1.1.1.tgz

源码包：http://archive.apache.org/dist/kafka/1.1.1/kafka-1.1.1-src.tgz

安装部署

1. 解压

[root@hadoop01 ~]# tar -zxvf /opt/soft/kafka_2.11-1.1.1.tgz -C /usr/local/

2. 重命名

[root@hadoop01 ~]# mv /usr/local/kafka_2.11-1.1.1/ /usr/local/kafka

3. 添加环境变量

[root@hadoop01 ~]# vi /etc/profile

export KAFKA_HOME=/opt/apps/kafka
export PATH=$PATH:$KAFKA_HOME/bin

刷新

[root@hadoop01 ~]# source /etc/profile

4. 配置

修改 $KAFKA_HOME/config/server.properties

host.name=192.168.10.101 #自己当前主机的ip
broker.id=11 ## 当前kafka实例的id，必须为整数，⼀个集群中不可重复
log.dirs=/opt/data/kafka  ##⽣产到kafka中的数据存储的⽬录,⽬录需要⼿动创建
zookeeper.connect=hadoop01:2181/kafka ## kafka数据在zk中的存储⽬录  hadoop01:2181当前主机

5. 同步到其它机器

到 /usr/local 下执行

scp -r kafka/ root@hadoop02:/usr/local/

scp -r kafka/ root@hadoop03:/usr/local/

6. 修改配置⽂件中的broker.id  host.naem  zookeeper.connect

broker.id=12 ##hadoop02
host.name=192.168.10.102  ##hadoop02
zookeeper.connect=hadoop02:2181/kafka  ##hadoop02

broker.id=13 ##hadoop03
host.name=192.168.10.103  ##hadoop03
zookeeper.connect=hadoop03:2181/kafka  ##hadoop03

7. 启动 kafka 服务

启动之前先启动zookeeper  在运行下面启动kafka服务

/use/local/kafka/bin/kafka-server-start.sh -daemon /use/local/kafka/config/server.properties

所有节点都有 QuorumPeerMain 和 Kafka 这两个节点kafka就启动成功了

8. kafka 服务测试，进⼊ ZK 查看

zkCli.sh 进入zk

注：只要我们配置的 kafka 的服务都在 zookeeper 中进⾏了注册，便说明 kafka 已经安装启动成功

kafka在zookeeper中的⽬录说明

/kafka

        /cluster

                /id {"version":"1","id":"Pks8sWZUT6GBJHqyVGQ5OA"} - --> 代表的是⼀个kafka集群包含集群的版本，和集群的id

         /controller {"version":1,"brokerid":11,"timestamp":"1564976668049"} -->controller是kafka中⾮常重要的⼀个⻆⾊，意为控制器，控制partition的leader选举，topic的crud操作。brokerid意为由其id对应的broker承担controller的⻆⾊。

         /controller_epoch 2  ---> 代表的是controller的纪元，换句话说是代表controller的更迭，每当controller的brokerid更换⼀次，controller_epoch就+1.

         /brokers

                /ids [11, 12, 13] --->存放当前kafka的broker实例列表

                 /topics [hadoop, __consumer_offsets] ---->当前kafka中的topic列表

                 /seqid ---->系统的序列id

         /consumers --->⽼版本⽤于存储kafka消费者的信息，主要保存对应的offset，新版本中基本不⽤，此时⽤户的消费信息，保存在⼀个系统的topic中：__consumer_offsets

         /config --->存放配置信息