Filebeat+Kafka+Logstash+ElasticSearch+Kibana+Springboot二次部署笔记

最新推荐文章于 2024-07-02 00:09:27 发布

LionArt

最新推荐文章于 2024-07-02 00:09:27 发布

阅读量5k

点赞数 3

分类专栏： ELK 文章标签： ELK Springboot Kafka Filebeat ElasticSearch

本文链接：https://blog.csdn.net/artaganan8/article/details/90288396

版权

ELK 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

带着三年前分分钟搞定环境的优越感，在新的系统环境里重新搭建一套分布式日志采集系统，着实给自己坑了一把，今天把踩到的坑和经验总结一下，希望帮到后来的小伙伴。

先上一张成功的截图，喜悦一把：）

==================================华丽丽的分割线===========================================

首先到elastic官网https://www.elastic.co/cn/downloads/下载使用到的组件并上传到准备安装的服务器。由于本次安装的环境在阿里云上，所以不用解决错综复杂的网络环境，默认服务器间是在一个局域网中的，无需打通网络环境。

部署架构如下图：

当前在测试环境搭了一套单点的服务，下面的内容为单点情况下部署的步骤，之后会补充集群的部署情况。

部署流程：

一、filebeat

下载解压filebeat到微服务的部署环境当中

修改配置文件filebeat.yml

修改input->paths->,将采集的日志文件地址添加进去，可以使用/* 等通配符，请自行查阅！因为是输出到kafka，所以输出配置如下：

修改output，增加output-kafka标签，配置kafka的地址、端口号及topic，至此filebeat配置就OK了，其他配置待完善后补充。

二、kafka

下载解压kafka到消息服务器中，配置单节点，集群后面补充

我们使用kafka自带的zookeeper

复制代码

cd /app/opt/soft/kafka_2.11-2.2.0/ #进入kafka主目录
mkdir -p zk/data   #创建zookeeper数据存放目录
mkdir -p zk/logs    #创建zookeeperl存放日志目录
cd config       #进入配置文件所在目录
mv zookeeper.properties zookeeper.properties.bak #将原配置文件移走

cat > zookeeper.properties << EOF
tickTime=2000
dataDir=/app/opt/soft/kafka_2.11-2.2.0/zk/data
dataLogDir=/app/opt/soft/kafka_2.11-2.2.0/zk/logs
clientPort=2181
EOF

复制代码

到具体情况时注意修昨dataDir和dataLogDir为自己的相应目录

配置单结点kafka

进入config目录，配置server.config

vi server.properties

复制代码

cd /usr/myapp/kafka_2.11 #进入kafka主目录
mkdir logs    #创建logs目录用于存放日志
cd config       #进入配置文件所在目录
mv server.properties server.properties.bak #将原配置文件移走

cat > server.properties << EOF
broker.id=1
listeners=PLAINTEXT://192.168.1.229:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/app/opt/soft/kafka_2.11-2.2.0/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
EOF

复制代码

上边配置的server.properties的内容基本都是原server.properties的默认配置，到自己安装时主要修改：

broker.id--broker的id；修改为任意自己想要的数值（和zookeeper中的id类似的）

listeners--对外暴露的服务器ip及端口信息，此处修改是为了跨服务调用，如单机配置使用默认localhost即可

log.dirs--日志文件存放目录；修改为自己要存放日志的目录

zookeeper.connect--zookeeper监听地址；修改为自己的zookeeper的监听地址，如果是集群所有地址全写上用逗号（半角）隔开即可

启动和停止

启动前要配置JAVA_HOME，不然无法启动（和tomcat一样虽然输出started了但并有有启，可查看kafkaServer.out）

启动：

./zookeeper-server-start.sh -daemon ../config/zookeeper.properties 启动zookeeoer

./kafka-server-start.sh -daemon ../config/server.properties         启动kafka

停止：

./zookeeper-server-stop.sh    #停止zookeeper
./kafka-server-stop.sh        #停止kafka，centos7上可能关不了用kill -9直接杀掉

查看是否有zookeeper和kafka进程：

jps

下面两条命令为查看topiclist 以及具体list内容：

./kafka-topics.sh --zookeeper 127.0.0.1:2181 --list

/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic teststatistics --describe

至此kafka单点的部署已经完成，现在可以启动filebeat了，kafka集群的部署稍后更新

nohup ./filebeat -e -c filebeat.yml -d "publish" >/app/opt/soft/filebeat-6.7.2-linux-x86_64/null 2>&1 &

三、logstash

下载解压losgtash

tar zxvf logstash-6.7.2.tar.gz

配置losgtash输入输出以及topics

vi first-pipeline.conf

input {
kafka {
type => "teststatistics"
client_id => "es1"
group_id => "es1"
topics => ["teststatistics"]
bootstrap_servers => "192.168.1.229:9092"
}
}

output {
elasticsearch {
index => "teststatistics"
codec => "json"
hosts => ["192.168.1.229:9200"]
}
}

启动logstash

nohup ./logstash -f first-pipeline.conf --config.reload.automatic --path.data=/app/opt/soft/logstash-6.7.2 >/app/opt/soft/logstash-6.7.2/bin/null 2>&1 &

四、elasticsearch

下载解压elasticsearch

配置network.host、端口号和Node

cat elasticsearch.yml