一、ELKStack简介 -- 日志分析管理(都是Java架构 -- 需要JDK底层) 什么是ELK?
通俗来讲,ELK是由Elasticsearch、Logstash、Kibana 三个开源软件组成的 一个组合体,这三个软件当中,每个软件用于完成不同的功能,ELK又称ELKstack。
官网:https://www.elastic.co/ 。
ELK主要优点有如下几个:
1、处理方式灵活:elasticsearch是实时全文索引,具有强大的搜索功能(搜索引擎 --> 百 度--> lucence引擎功能)
2、配置相对简单:elasticsearch全部使用JSON接口,logstash使用模块配置(和 Jenkins + Ansible --> 模块+插件),kibana的配置文件部分更简单
3、检索性能高:基于优秀的设计,虽然每次查询都是实时,但是也可以达到百亿级数据的 查询秒级响应
4、集群线性扩展:elasticsearch和logstash都可以灵活线性扩展 -- > ES本身没有单点概 念 -- 集群概念 -- ES至少两个 -- 没有主从概念 - 从谁身上都能看到所有的数据
5、前端操作绚丽:kibana的前端设计比较绚丽,而且操作简单
1、Elasticsearch
elasticsearch是一个高度可扩展全文搜索和分析引擎,基于Apache Lucene 构建,能对大容量的数据进行接近实时的存储、搜索和分析操作,可以处理大规模日志数据,比如Nginx、Tomcat、系统日志等功能。
2、Logstash
数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置;支持普通log、自定义json格式的日志解析。
3、Kibana
数据分析和可视化平台。通常与 Elasticsearch 配合使用,对其中数据进行搜索、分析和以统计图表的方式展示。开源 不等于免费 --> ELK --> 开源 | logstash 插件 --> 收集 免费 - 监控 收费的
二、ELK部署环境准备
这里实验所使用系统CentOS 7.4 x86_64,服务器信息如下。并关闭防火墙和selinux,及host绑定等。
三、Elasticsearch部署
因为elasticsearch服务运行需要java环境,因此两台elasticsearch服务器需要安装java环境。
1、安装JDK
centos7默认是安装了jdk,如果需要安装高版本可以使用一下步骤,这里使用下面的yum
安装jdk 1.8.0_211 。注意:两个节点都要安装。
2、安装Elasticsearch
两台节点都需要安装elasticsearch,使用yum安装会很慢,所以先下载下来进行安装,官网下载地址:
https://www.elastic.co/cn/downloads/past-releases#elasticsearch
四、Logstash部署
Logstash 是一个开源的数据收集引擎,可以水平伸缩,而且logstash是整个ELK当中拥有
最多插件的一个组件,其可以接收来自不同来源的数据并同意输出到指定的且可以是多个
下载地址:
https://www.elastic.co/cn/downloads/past-releases#logstash
1、安装logstash
五、kibana部署
Kibana是一个通过调用elasticsearch服务器进行图形化展示搜索结果的开源项目。官网下载地址:
https://www.elastic.co/cn/downloads/past-releases#kibana
1、安装kibana
2、启动kibana并验证
3、查看状态
ELK日志分析平台实战训练营
原价:398 秒杀价:1元
下方报名
↓↓↓↓↓↓↓