ELK 不是一款软件,而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件,通常配合使用,而且又先后归于 Elastic.co 公司名下,所以被简称为 ELK Stack。根据 Google Trend 的信息显示,ELK Stack 已经成为目前最流行的集中式日志解决方案。
Elasticsearch:分布式搜索和分析引擎,具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建,能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎,使其具有复杂的搜索功能;
Logstash:数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置;
Kibana:数据分析和可视化平台。通常与 Elasticsearch 配合使用,对其中数据进行搜索、分析和以统计图表的方式展示;
Filebeat:ELK 协议栈的新成员,一个轻量级开源日志文件数据搜集器,基于 Logstash-Forwarder 源代码开发,是对它的替代。在需要采集日志数据的 server 上安装 Filebeat,并指定日志目录或日志文件后,Filebeat 就能读取数据,迅速发送到 Logstash 进行解析,亦或直接发送到 Elasticsearch 进行集中式存储和分析。
组件下载
filebeat https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.2-x86_64.rpm
kibana https://artifacts.elastic.co/downloads/kibana/kibana-7.10.2-x86_64.rpm
logstash https://artifacts.elastic.co/downloads/logstash/logstash-7.10.2-x86_64.rpm
elasticsearch https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.2-x86_64.rpm
elasticsearch 9200
elasticsearch-head 9100
logstash 5044
kibana 5601
一、安装jdk
tar -zxvf jdk-8u201-linux-x64.tar.gz
mv /jdk1.8.0_201 /usr/local/jdk-1.8
vim /etc/profile
export JAVA_HOME=/usr/local/jdk-1.8/
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:./
source /etc/profile
二、安装ElasticSearch
1、rpm -ivh elasticsearch-7.10.2-x86_64.rpm
2、创建/data/es-data目录,用于elasticsearch数据的存放
mkdir -p /data/es-data
3、修改该目录的拥有者为elasticsearch
chown -R elasticsearch:elasticsearch /data/es-data
3、创建/data/es-log目录,用于elasticsearch日志的存放
mkdir -p /data/es-log
4、修改该目录的拥有者为elasticsearch
chown -R elasticsearch:elasticsearch /data/es-log
5、修改配置文件elasticsearch.yml
vim /etc/elasticsearch/elasticsearch.yml
node.name: node-1
#设置data存放的路径为/data/es-data
path.data: /data/es-data
#设置logs日志的路径为/log/es-log
path.logs: /log/es-log
#设置内存不使用交换分区
bootstrap.memory_lock: false
#配置了bootstrap.memory_lock为true时反而会引发9200不会被监听,原因不明
#设置允许所有ip可以连接该elasticsearch
network.host: 0.0.0.0
#开启监听的端口为9200
http.port: 9200
#增加新的参数,为了让elasticsearch-head插件可以访问es (5.x版本,如果没有可以自己手动加)
http.cors.enabled: true
http.cors.allow-origin: "*"
cluster.initial_master_nodes: ["node-1"]
6、启动elasticsearch
systemctl start elasticsearch
7、查看状态
systemctl status elasticsearch
8、设置开机启动
systemctl enable elasticsearch
9、启动成功之后,测试服务是否开启
curl -X GET http://localhost:9200
三、安装ElasticSearch-Head插件
1、yum install epel-release 2、yum install nodejs npm git
3、下载elasticsearch-head
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
npm run start
4、修改es-head的localhost地址
cd /usr/local/src/elasticsearch-head/
vim Gruntfile.js
5、修改head的连接地址
vim _site/app.js
6、启动elasticsearch-head
./node_modules/grunt/bin/grunt server &
7、浏览器访问:http://192.168.2.251:9100
四、 安装logstash
1、rpm -ivh logstash-7.10.2-x86_64.rpm
2、设置data的目录
mkdir -p /data/ls-data
chown -R logstash:logstash /data/ls-data
3、设置log的目录
mkdir -p /data/ls-log
chown -R logstash:logstash /data/ls-log
4、设置conf.d的目录,创建配置文件
cd /etc/logstash
#创建conf.d的目录
mkdir conf.d
cd conf.d
vim logstash.conf
input {
beats {
port => 5044
codec => plain {
charset => "UTF-8"
}
}
}
filter{
if [type] == "log" {
grok {
match => { "message" => "(%{TIMESTAMP_ISO8601:logdatetime} %{LOGLEVEL:level} %{GREEDYDATA:logmessage})|%{GREEDYDATA:logmessage}" }
remove_field => [ "message" ]
}
date {
timezone => "Asia/Shanghai"
#match => ["logdatetime", "yyyy-MM-dd HH:mm:ss,SSS", "ISO8601"]
match => ["logdatetime", "dd-MM-yyyy HH:mm:ss,SSS", "ISO8601"]
remove_field => [ "logdatetime" ]
target => "time"
}
}
}
output {
if [fields][services] == "jenkins" {
#stdout { codec => rubydebug }
elasticsearch {
hosts => ["localhost:9200"]
index => "jenkins-%{+YYYY.MM.dd}" # 注意index不能包含大写字母,否则报错
}
}
}
5、修改配置文件logstash.yml
vim /etc/logstash/logstash.yml
# 设置数据的存储路径为/data/ls-data
path.data: /data/ls-data
# 设置管道配置文件路径为/etc/logstash/conf.d
path.config: /etc/logstash/conf.d
# 设置日志文件的存储路径为/log/ls-log
path.logs: /data/ls-log
6、启动logstash
systemctl start logstash
查看
systemctl status logstash
设置开机启动
systemctl enable logstash
8、测试logstash
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/logstash.conf --config.test_and_exit
9、logstash指定配置进行运行
nohup /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/logstash.conf &
五、kibana安装
1、rpm -ivh kibana-7.10.2-x86_64.rpm
2、修改kibana的配置文件
vim /etc/kibana/kibana.yml
3、启动kibana
systemctl start kibana
查看状态
systemctl status kibana
4、设置开机启动
systemctl enable kibana
5、访问192.168.2.251:5601
六、安装filebeat
1、yum localinstall -y filebeat-7.10.2-x86_64.rpm
2、编辑filebeat.yml文件
vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /usr/local/tomcat/logs/ca*.log
ignore_older: 2h
multiline.pattern: '^\s*(\d{4}|\d{2})\-(\d{2}|[a-zA-Z]{3})\-(\d{2}|\d{4})'
multiline.negate: true
multiline.match: after
multiline.timeout: 10
fields:
services: jenkins
2、启动kibana
systemctl start filebeat
查看状态
systemctl status filebeat
3、设置开机启动
systemctl enable filebeat