ELK-Beat 环境搭建

ELK-Beat 环境搭建

elasticsearch , logstash , kibana

Author : Janloong Do_O

配置

版本 : elk 5.6

elasticsearh + x-pack安装

elasticsearch 安装参考本博另一博文

bin/elasticsearch-plugin intall x-pack

获取用户地理位置和浏览器信息的插件
sudo bin/elasticsearch-plugin install ingest-geoip
sudo bin/elasticsearch-plugin install ingest-user-agent

配置文件修改

elasticsearch/config/jvm.options
-Xms 2g
-Xmx 2g

为logstash 安装 x-pack 时 需要开启自动创建所有功能否则会导致部分配置失效
按照官方的说法  如果不确定其余额外的配置如何配置时可以设置为
action.auto_create_index:  .security,.monitoring*,.watches,.triggered_watches,.watcher-history*,.ml*,.*,*

logstash

安装
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.6.3.tar.gz

启动
bin/logstsh -f sample.conf

插件
logstash-plugin install x-pack  （不确定是否需要）


sample.conf
input {
    stdin{
        type => "syslog"
    }
}

filter {

  #定义数据的格式
  grok {
    match => { "message" => "%{DATA:timestamp}|%{IP:serverIp}|%{IP:clientIp}|%{DATA:logSource}|%{DATA:userId}|%{DATA:reqUrl}|%{DATA:reqUri}|%{DATA:refer}|%{DATA:device}|%{DATA:textDuring}|%{DATA:duringTime:int}||"}
  }

   #定义时间戳的格式
    date {
      match => [ "timestamp", "yyyy-MM-dd-HH:mm:ss" ]
      locale => "cn"
    }

   #定义客户端的IP是哪个字段（上面定义的数据格式）
     geoip {
       source => "clientIp"
     }

}

output {
    elasticsearch {
        hosts => "http://127.0.0.1:9200"
        user => "loong"
        password => "loong"
        index =>