ELK用于分布式收集,然后elasticsearch用于分析数据,在Kibana中可以查看数据、报表。
目前公司日志数据量暂时不使用elasticsearch集群,只是用的elasticsearch单机模式。
机器环境
以下软件都是基于5.6
elasticsearch+Kibana:172.16.88.56
logstash:172.16.88.99
在每台机器上执行如下操作:
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
vim /etc/yum.repos.d/logstash.repo
[logstash-5.x]
name=Elastic repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
172.16.88.56安装elasticsearch Kibana
yum install -y elasticsearch kibana
配置 elasticsearch
kibana
对应的配置文件
elasticsearch:/etc/elasticsearch/elasticsearch.yml
kibana:/etc/kibana/kibana.yml
其中:
elasticsearch:
network.host: 172.16.88.56 #服务器IP
http.port: 9200 #对应的端口
path.data: /home/elasticsearch
说明
network.host 服务器IP。
http.port 对应的端口。
path.data 数据保存的位置。
如果改这个data需要把/var/lib/elasticsearch/* 复制到/home/elasticsearch 目录下
同时注意/home/elasticsearch的权限 elasticsearch:elasticsearch
否则会报错
kibana:
server.port: 5601
server.host: "172.16.88.56"
elasticsearch.url: "http://172.16.88.56:9200"
说明
指定服务器地址与kibana可访问的接口以及搜索引擎的地址与接口
启动 elasticsearch kibana
service elasticsearch start
chkconfig elasticsearch on
service kibana on
chkconfig kibana on
172.16.88.99
安装 logstash
yum install -y logstash
配置 logstash
对应的配置文件
logstash:/etc/logstash/logstash.yml
172.16.88.99安装logstash
logstash:
pipeline.workers: 4
pipeline.output.workers: 2
pipeline.batch.size: 1024
说明
修改的logstash工作进程数与输出的进程数,以及批处理的数量,依照服务器性能以及filebeat端是否报错进行相应的报错,
如果太小 filebeat总是报超时。
其他的配置比如 连接elasticsearch在后边进行说明。
调试模式下执行:
/usr/share/logstash/bin/logstash --config.reload.automatic -f /etc/logstash/conf.d #不用停止服务,自动加载配置文件
生产环境:
service logstash start
chkconfig logstash on