Filebeat 收集日志环境搭建

一、filebeat安装

cd /usr/local/software
tar -zxvf filebeat-6.6.0-linux-x86_64.tar.gz -C /usr/local/
cd /usr/local
mv filebeat-6.6.0-linux-x86_64/ filebeat-6.6.0

配置filebeat，可以参考filebeat.full.yml中的配置。

vim /usr/local/filebeat-6.6.0/filebeat.yml
filebeat启动：

检查配置是否正确

cd /usr/local/filebeat-6.6.0
./filebeat -c filebeat.yml -configtest

Config OK

启动filebeat

/usr/local/filebeat-6.6.0/filebeat &
ps -ef | grep filebeat

启动kafka：

/usr/local/kafka_2.12/bin/kafka-server-start.sh /usr/local/kafka_2.12/config/server.properties &

查看topic列表：

kafka-topics.sh --zookeeper 192.168.0.124:2181 --list

创建topic

kafka-topics.sh --zookeeper 192.168.0.124:2181 --create --topic app-log-collector --partitions 1 --replication-factor 1
kafka-topics.sh --zookeeper 192.168.0.124:2181 --create --topic error-log-collector --partitions 1 --replication-factor 1

查看topic情况

kafka-topics.sh --zookeeper 192.168.0.124:2181 --topic app-log-test --describe

二、logstash

解压安装

tar -zxvf logstash-6.6.0.tar.gz -C /usr/local/

conf下配置文件说明：

 logstash配置文件：/config/logstash.yml
 JVM参数文件：/config/jvm.options
 日志格式配置文件：log4j2.properties
 制作Linux服务参数：/config/startup.options

vim /usr/local/logstash-6.6.0/config/logstash.yml

增加workers工作线程数 可以有效的提升logstash性能

pipeline.workers: 16

启动logstash

nohup /usr/local/logstash-6.6.0/bin/logstash -f /usr/local/logstash-6.6.0/script/logstash-script.conf &