Kafka集群搭建

搭建Kafka集群

1.1、准备3台虚拟机

192.168.140.128 kafka01

192.168.140.129 kafka02

192.168.140.130 kafka03

1.2、初始化环境

1）安装jdk、安装zookeeper

2）安装目录

         安装包存放的目录：/export/software

安装程序存放的目录：/export/servers

数据目录：/export/data

日志目录：/export/logs

mkdir -p /export/servers/ mkdir -p /export/software / mkdir -p /export/data / mkdir -p /export/logs /

 

3）安装用户

         安装hadoop，会创建一个hadoop用户

         安装kafka，创建一个kafka用户

        

         或者 创建bigdata用户，用来安装所有的大数据软件。

        

         本例：使用root用户

 

1. 验证环境
   1. jdk环境

1. 1. zookeeper环境

 

zkServer.sh status

1.3、搭建Kafka集群

1.3.1、准备安装包

由于kafka是scala语言编写的，基于scala的多个版本，kafka发布了多个版本。

其中2.11是推荐版本。

4.3.2、下载安装包及解压

tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/ cd /export/servers/ rm -rf /export/servers/kafka rm -rf /export/logs/kafka/ rm -rf /export/data/kafka mv kafka_2.11-1.0.0 kafka

1. 解压文件
2. 删除之前的安装记录
3. 重命名

1.3.3、查看目录及修改配置文件

1.3.3.1查看目录

 

1.3.3.2修改配置文件

进入配置目录，查看server.properties文件

cat server.properties |grep -v "#"

 

通过以上命令，查看到了默认的配置文件，对默认的文件进行修改。

修改三个地方

1. Borker.id
2. 数据存放的目录，注意目录如果不存在，需要新建下。
3. zookeeper的地址信息

# broker.id 标识了kafka集群中一个唯一broker。 broker.id=0 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600   # 存放生产者生产的数据 数据一般以topic的方式存放 # 创建一个数据存放目录 /export/data/kafka  ---  mkdir -p /export/data/kafka log.dirs=/export/data/kafka     num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000   # zk的信息 zookeeper.connect=zk01:2181,zk02:2181,zk03:2181 zookeeper.connection.timeout.ms=6000 group.initial.rebalance.delay.ms=0

 

4.3.4、分发配置文件及修改brokerid

将修改好的配置文件，分发到node02，node03上。

先在node02、node03上删除以往的安装记录

rm -rf /export/servers/kafka rm -rf /export/logs/kafka/ rm -rf /export/data/kafka

 

分发安装包

scp -r /export/servers/kafka/ node02:/export/servers/ scp -r /export/servers/kafka/ node03:/export/servers/

 

修改node02上的broker.id

vi /export/servers/kafka/config/server.properties

 

 

修改node03上的broker.id

vi /export/servers/kafka/config/server.properties

1.3.4、启动集群

cd /export/servers/kafka/bin ./kafka-server-start.sh /export/servers/kafka/config/server.properties