elk日志分析系统_ELK 日志分析平台搭建步骤

    一、ELKStack简介 -- 日志分析管理(都是Java架构 -- 需要JDK底层) 什么是ELK？

通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件组成的 一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK又称ELKstack。

官网：https://www.elastic.co/ 。

ELK主要优点有如下几个： 

    1、处理方式灵活：elasticsearch是实时全文索引，具有强大的搜索功能(搜索引擎 --> 百 度--> lucence引擎功能)

    2、配置相对简单：elasticsearch全部使用JSON接口，logstash使用模块配置(和 Jenkins + Ansible --> 模块+插件)，kibana的配置文件部分更简单 

    3、检索性能高：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿级数据的 查询秒级响应 

    4、集群线性扩展：elasticsearch和logstash都可以灵活线性扩展 -- > ES本身没有单点概 念 -- 集群概念 -- ES至少两个 -- 没有主从概念 - 从谁身上都能看到所有的数据 

    5、前端操作绚丽：kibana的前端设计比较绚丽，而且操作简单

---

1、Elasticsearch

    elasticsearch是一个高度可扩展全文搜索和分析引擎，基于Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作，可以处理大规模日志数据，比如Nginx、Tomcat、系统日志等功能。

2、Logstash

    数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；支持普通log、自定义json格式的日志解析。

3、Kibana

    数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示。开源 不等于免费 --> ELK --> 开源 | logstash 插件 --> 收集 免费 - 监控 收费的

---

二、ELK部署环境准备

    这里实验所使用系统CentOS 7.4 x86_64，服务器信息如下。并关闭防火墙和selinux，及host绑定等。

---

三、Elasticsearch部署

   因为elasticsearch服务运行需要java环境，因此两台elasticsearch服务器需要安装java环境。

1、安装JDK

    centos7默认是安装了jdk，如果需要安装高版本可以使用一下步骤，这里使用下面的yum

安装jdk 1.8.0_211 。注意：两个节点都要安装。

2、安装Elasticsearch

    两台节点都需要安装elasticsearch，使用yum安装会很慢，所以先下载下来进行安装，官网下载地址：

https://www.elastic.co/cn/downloads/past-releases#elasticsearch

---

四、Logstash部署

    Logstash 是一个开源的数据收集引擎，可以水平伸缩，而且logstash是整个ELK当中拥有

    最多插件的一个组件，其可以接收来自不同来源的数据并同意输出到指定的且可以是多个

下载地址：

https://www.elastic.co/cn/downloads/past-releases#logstash

1、安装logstash

---

五、kibana部署

    Kibana是一个通过调用elasticsearch服务器进行图形化展示搜索结果的开源项目。官网下载地址：
https://www.elastic.co/cn/downloads/past-releases#kibana

1、安装kibana

2、启动kibana并验证

3、查看状态

---

ELK日志分析平台实战训练营

原价：398    秒杀价：1元

下方报名

↓↓↓↓↓↓↓