如何搭建Kafka集群

如何搭建Kafka集群

4.1、准备3台虚拟机
192.168.140.128 kafka01
192.168.140.129 kafka02
192.168.140.130 kafka03
4.2、初始化环境
1）安装jdk、安装zookeeper
2）安装目录
安装包存放的目录：/export/software
安装程序存放的目录：/export/servers
数据目录：/export/data
日志目录：/export/logs
mkdir -p /export/servers/
mkdir -p /export/software /
mkdir -p /export/data /
mkdir -p /export/logs /
3）安装用户
安装hadoop，会创建一个hadoop用户
安装kafka，创建一个kafka用户

    或者 创建bigdata用户，用来安装所有的大数据软件。
    
    本例：使用root用户

1） 验证环境
a) jdk环境

b) zookeeper环境

zkServer.sh status

4.3、搭建Kafka集群4.3.1、准备安装包

由于kafka是scala语言编写的，基于scala的多个版本，kafka发布了多个版本。
其中2.11是推荐版本。
4.3.2、下载安装包及解压
tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/
cd /export/servers/
rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka
mv kafka_2.11-1.0.0 kafka
1） 解压文件
2） 删除之前的安装记录
3） 重命名
4.3.3、查看目录及修改配置文件4.3.3.1查看目录

4.3.3.2修改配置文件
进入配置目录，查看server.properties文件
cat server.properties |grep -v “#”

通过以上命令，查看到了默认的配置文件，对默认的文件进行修改。
修改三个地方
1） Borker.id
2） 数据存放的目录，注意目录如果不存在，需要新建下。
3） zookeeper的地址信息

broker.id 标识了kafka集群中一个唯一broker。

broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

存放生产者生产的数据 数据一般以topic的方式存放

创建一个数据存放目录 /export/data/kafka — mkdir -p /export/data/kafka

log.dirs=/export/data/kafka
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

zk的信息

zookeeper.connect=zk01:2181,zk02:2181,zk03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
4.3.4、分发配置文件及修改brokerid
将修改好的配置文件，分发到node02，node03上。
先在node02、node03上删除以往的安装记录
rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka
分发安装包
scp -r /export/servers/kafka/ node02:/export/servers/
scp -r /export/servers/kafka/ node03:/export/servers/
修改node02上的broker.id
vi /export/servers/kafka/config/server.properties

修改node03上的broker.id
vi /export/servers/kafka/config/server.properties

4.3.4、启动集群
cd /export/servers/kafka/bin
./kafka-server-start.sh /export/servers/kafka/config/server.properties
4.3.5、查看Kafka集群
由于kafka集群并没有UI界面可以查看。
需要借助外部工具，来查看卡夫卡的集群
这个工具是一个java程序，必须要安装好JDK