前言
本文先搭建下ELK日志分析采集系统,具体的原理以后慢慢来研究
用到的软件分别为,
最新款的7.10.1,所有软件都要用同一版本
一、安装es
解压
#当前目录:/usr/local/soft/ELKB/
tar -zvxf elasticsearch-7.10.1.tar.gz
创建用户,并将ElasticSearch安装权限归新用户所有
useradd elkb
passwd elkb
chown -R feiyu:feiyu elasticsearch-7.10.1/
修改配置:
vi config/elasticsearch.yml
network.host: 你自己的服务器ip
http.port: 9200
启动
#切换用户
su elkb
#启动elasticsearch,当前所在目录/usr/local/soft/ELKB/elasticsearch-7.10.1/
bin/elasticsearch
注意事项
ES默认1g的内存,我这里是虚拟机就调成了512m
启动报错的话,可以去百度都很好解决
二、Kibana安装
解压
#当前目录:/usr/local/soft/ELKB/
tar -zvxf kibana-7.10.1-linux-x86_64.tar.gz
修改配置文件
/usr/local/soft/ELKB/kibana-7.10.1-linux-x86_64/config/kibana.yml
# Kibana 端口
server.port: 5601
# Kibana ip
server.host: "192.168.1.8"
# elasticsearch 地址
elasticsearch.url: "http://192.168.1.8:9200"
启动
bin/kibana
三、Logstash 安装
解压
#当前目录:/usr/local/soft/ELKB/
tar -zvxf logstash-7.10.1-linux-x86_64.tar.gz
修改配置文件
input {
beats {
port => 5044
}
}
output {
elasticsearch {
hosts => ["http://192.168.3.51:9200"]
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
#user => "elastic"
#password => "changeme"
}
}
内存不舍得花钱的,调小点
-Xms256m
-Xmx256m
指定配置文件启动
bin/logstash -f /usr/local/soft/ELKB/logstash-7.10.1/config/logstash-sample.conf
启动成功
接下来把日志输出到logstash中
四、filebeat安装
解压
tar -zxvf filebeat-7.10.1-linux-x86_64.tar.gz
修改配置文件filebeat.yml
filebeat.inputs:
# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.
- type: log
# Change to true to enable this input configuration.
enabled: true
# Paths that should be crawled and fetched. Glob based paths.
paths:
- /work/medical/medical-resource-free/logs/*.log
- /work/medical/medical-resource-xszf/logs/*.log
此处log可以配很多,关闭输出到es,让其输出到logstash
output.logstash:
# The Logstash hosts
hosts: ["192.168.3.51:5044"]
启动
./filebeat -c filebeat.yml
五、效果
通过访问【http://192.168.3.51:5601/】打开Kibana界面,没建索引的先建立索引
随便的搜索日志吧
六、安全认证
参考连接给ES添加权限