centos7安装kafka
下载
去官网下载 《kafka_2.12-3.0.0.tgz》文件
https://kafka.apache.org/downloads
安装
tar -zxf kafka_2.12-3.0.0.tgz
在kafka路径下新建datas和logs
cd /opt/kafka/kafka_2.12-3.0.0/
mkdir -p zookeeper/logs
修改zookeeper.properties文件
mv zookeeper.properties zookeeper.properties_bak
vim zookeeper.properties
dataDir=/opt/kafka/kafka_2.12-3.0.0/zookeeper/logs
clientPort=2181
maxClientCnxns=0
admin.enableServer=false
新建kafka日志目录文件
mkdir -p /opt/kafka/kafka_2.12-3.0.0/datas
修改server.properties文件
mv server.properties server.properties_bak
vim server.properties
#broker 的全局唯一编号,不能重复,只能是数字。
broker.id=0
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志(数据)存放的路径,路径不需要提前创建,kafka 自动帮你创建,可以配置多个磁盘路径,路径与路径之间可以用","分隔
log.dirs=/opt/kafka/kafka_2.12-3.0.0/datas
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个 topic 创建时的副本数,默认时 1 个副本
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
#每个 segment 文件的大小,默认最大 1G
log.segment.bytes=1073741824
# 检查过期数据的时间,默认 5 分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接 Zookeeper 集群地址(在 zk 根目录下创建/kafka,方便管理)
zookeeper.connect=192.168.198.130:2181,192.168.198.131:2181,192.168.198.132:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
注意:复制完这个server文件后需将每一个实力上面的《broker.id》进行修改,此字段值为不重复
进入bin目录
cd /opt/kafka/kafka_2.12-3.0.0/bin
启动zookeeper
./zookeeper-server-start.sh -daemon ../config/zookeeper.properties
启动kafka
./kafka-server-start.sh -daemon ../config/server.properties
查看进程
jps
暂停Kafka
./kafka-server-stop.sh
暂停zookeeper
./zookeeper-server-stop.sh