ELK-Beat 环境搭建
elasticsearch , logstash , kibana
Author : Janloong Do_O
配置
版本 : elk 5.6
elasticsearh + x-pack安装
elasticsearch 安装参考本博另一博文
bin/elasticsearch-plugin intall x-pack
获取用户地理位置和浏览器信息的插件
sudo bin/elasticsearch-plugin install ingest-geoip
sudo bin/elasticsearch-plugin install ingest-user-agent
配置文件修改
elasticsearch/config/jvm.options
-Xms 2g
-Xmx 2g
为logstash 安装 x-pack 时 需要开启自动创建所有功能否则会导致部分配置失效
按照官方的说法 如果不确定其余额外的配置如何配置时可以设置为
action.auto_create_index: .security,.monitoring*,.watches,.triggered_watches,.watcher-history*,.ml*,.*,*
logstash
安装
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.6.3.tar.gz
启动
bin/logstsh -f sample.conf
插件
logstash-plugin install x-pack (不确定是否需要)
sample.conf
input {
stdin{
type => "syslog"
}
}
filter {
#定义数据的格式
grok {
match => { "message" => "%{DATA:timestamp}|%{IP:serverIp}|%{IP:clientIp}|%{DATA:logSource}|%{DATA:userId}|%{DATA:reqUrl}|%{DATA:reqUri}|%{DATA:refer}|%{DATA:device}|%{DATA:textDuring}|%{DATA:duringTime:int}||"}
}
#定义时间戳的格式
date {
match => [ "timestamp", "yyyy-MM-dd-HH:mm:ss" ]
locale => "cn"
}
#定义客户端的IP是哪个字段(上面定义的数据格式)
geoip {
source => "clientIp"
}
}
output {
elasticsearch {
hosts => "http://127.0.0.1:9200"
user => "loong"
password => "loong"
index =>