(一)服务器信息概览:
操作系统:CentOS Linux release 7.6.1810 (Core)
服务器配置推荐:8vCPU 16G100G
Elasticsearch版本:7.8.0(目前的最新版)
Kibana版本:7.8.0
Logstash版本:7.8.0
(二)简要说明
ELK主要由ElasticSearch、Logstash和Kibana三个开源工具组成,还有其他专门由于收集数据的轻量型数据采集器 Beats。 Elasticsearch :分布式搜索引擎。 具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析,并能将这三者结合起来。 Elasticsearch 是用Java 基于 Lucene 开发,现在使用最广的开源搜索引擎之一,Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。 在elasticsearch中,所有节点的数据是均等的。
Logstash :数据收集处理引擎。 支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储以供后续使用。
Kibana :可视化平台。 它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。 Filebeat:轻量级数据收集引擎。 相对于Logstash所占用的系统资源来说,Filebeat 所占用的系统资源几乎是微乎及微。它是基于原先 Logstash fowarder 的源码改造出来。换句话说:Filebeat就是新版的 Logstashfowarder,也会是 ELK Stack 在 Agent 的第一 选择。
ELK工作流程演示图:
A、Filebeat在APP Server端收集日志
B、Logstash处理过滤Filebeat收集过来的日志
C、Elasticsearch存储Logstash提供的处理之后的日志,用以检索、统计
D、Kibana提供web页面,将Elasticsearch的数据可视化的展示出来
(三)软件下载地址
3.1JavaJDK:
https://www.oracle.com/java/technologies/javase-jdk14-downloads.html#license-lightbox
3.2Elasticsearch
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-x86_64.rpm
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz
3.3Kibana
https://artifacts.elastic.co/downloads/kibana/kibana-7.8.0-x86_64.rpm;
https://artifacts.elastic.co/downloads/kibana/kibana-7.8.0-linux-x86_64.tar.gz
3.4Logstash
https://artifacts.elastic.co/downloads/logstash/logstash-7.8.0.rpm