kafka+ELK连接
部署Kafka
###关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled
###下载安装包
官方下载地址:http://kafka.apache.org/downloads.html
cd /opt
wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.1/kafka_2.13-2.7.1.tgz
###安装 Kafka
cd /opt/
tar xf kafka_2.13-2.7.1.tgz
mv kafka_2.13-2.7.1 /usr/local/kafka
###修改配置文件
##备份配置文件
cd /usr/local/kafka/config/
cp server.properties{,.bak}
vim server.properties
---21行--
broker.id=0
###21行,broker的全局唯一编号,每个broker不能重复,因此要在其他机器上配置 broker.id=1、broker.id=2
---31行---
listeners=PLAINTEXT://192.168.242.70:9092
###31行,指定监听的IP和端口,如果修改每个broker的IP需区分开来,也可保持默认配置不用修改
---42行---
num.network.threads=3
###42行,broker 处理网络请求的线程数量,一般情况下不需要去修改
---45行---
num.io.threads=8
#45行,用来处理磁盘IO的线程数量,数值应该大于硬盘数
---48行---
socket.send.buffer.bytes=102400
#48行,发送套接字的缓冲区大小
---51行---
socket.receive.buffer.bytes=102400
#51行,接收套接字的缓冲区大小
---54行---
socket.request.max.bytes=104857600
#54行,请求套接字的缓冲区大小
---60行---
log.dirs=/usr/local/kafka/logs
#60行,kafka运行日志存放的路径,也是数据存放的路径
---65行---
num.partitions=1
#65行,topic在当前broker上的默认分区个数,会被topic创建时的指定参数覆盖
---69行---
num.recovery.threads.per.data.dir=1
#69行,用来恢复和清理data下数据的线程数量
---103行---
log.retention.hours=168
#103行,segment文件(数据文件)保留的最长时间,单位为小时,默认为7天,超时将被删除
---110行---
log.segment.bytes=1073741824
#110行,一个segment文件最大的大小,默认为 1G,超出将新建一个新的segment文件
---123行---
zookeeper.connect=192.168.242.70:2181,192.168.242.71:2181,192.168.242.72:2181
###123行,配置连接Zookeeper集群地址
###修改环境变量
vim /etc/profile
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin
###加载配置
source /etc/profile
###复制文件到zookeeper服务器哦
scp -r /usr/local/kafka 192.168.242.71:/usr/local
scp -r /usr/local/kafka 192.168.242.72:/usr/local
vim /etc/init.d/kafka
KAFKA_HOME='/usr/local/kafka'
case