ELK日志管理系统——logstash集群部署教程

1.部署准备

  a)  logstash安装包——>官方下载地址（本教程版本为 logstash-7.6.1.tar.gz）

  b)  三台服务器 40，41，42

 

注：各个服务logstash之间无通信，通过kafka的group_id一致实现消息只消费一次的功能的伪集群

2.开始部署

  a)  解压 logstash-7.6.1.tar.gz 并移动到指定目录

tar -xvf logstash-7.6.1.tar.gz -C /usr/local/elk/

 b)  在config下创建 mylogstash-kafka.conf文件

input {
  kafka {
        codec => "json"
        group_id => "logstash"
        #此处的topics_pattern => 应该是需要和filebeat中配置的topic一致。
        topics_pattern => "test"
        #此处配置Kafka服务器集群地址
        bootstrap_servers => "192.9.25.40:9092,192.9.25.41:9092,192.9.25.42:9092"
        auto_offset_reset => "latest"
  }

  kafka {
        codec => "json"
        group_id => "logstash"
        #此处的topics_pattern => "nginx"应该是需要和filebeat中配置的topic一致。
        topics_pattern => "test001"
        #此处配置Kafka服务器集群地址
        bootstrap_servers => "192.9.25.40:9092,192.9.25.41:9092,192.9.25.42:9092"
        auto_offset_reset => "latest"
  }
}


output {
  elasticsearch {
    hosts => ["http://192.9.25.40:9200","http://192.9.25.41:9200","http://192.9.25.42:9200"]
  }
}

3.启动bin下的logstash

nohup ./logstash -f ../config/mylogstash-kafka.conf &

#查看启动日志
tial -100f nohup.out