1.部署准备
a) logstash安装包——>官方下载地址(本教程版本为 logstash-7.6.1.tar.gz)
b) 三台服务器 40,41,42
注:各个服务logstash之间无通信,通过kafka的group_id一致实现消息只消费一次的功能的伪集群
2.开始部署
a) 解压 logstash-7.6.1.tar.gz 并移动到指定目录
tar -xvf logstash-7.6.1.tar.gz -C /usr/local/elk/
b) 在config下创建 mylogstash-kafka.conf文件
input {
kafka {
codec => "json"
group_id => "logstash"
#此处的topics_pattern => 应该是需要和filebeat中配置的topic一致。
topics_pattern => "test"
#此处配置Kafka服务器集群地址
bootstrap_servers => "192.9.25.40:9092,192.9.25.41:9092,192.9.25.42:9092"
auto_offset_reset => "latest"
}
kafka {
codec => "json"
group_id => "logstash"
#此处的topics_pattern => "nginx"应该是需要和filebeat中配置的topic一致。
topics_pattern => "test001"
#此处配置Kafka服务器集群地址
bootstrap_servers => "192.9.25.40:9092,192.9.25.41:9092,192.9.25.42:9092"
auto_offset_reset => "latest"
}
}
output {
elasticsearch {
hosts => ["http://192.9.25.40:9200","http://192.9.25.41:9200","http://192.9.25.42:9200"]
}
}
3.启动bin下的logstash
nohup ./logstash -f ../config/mylogstash-kafka.conf &
#查看启动日志
tial -100f nohup.out