ELK日志分析系统（一）之ELK原理

---

前言

随着业务量的增长，每天业务服务器将会产生上亿条的日志，单个日志文件达几个GB，这时我们发现Linux自带工具，cat grep awk 分析越来越力不从心了，而且除了服务器日志，还有程序报错日志，分布在不同的服务器，查阅繁琐

---

一、ELK简介

ELK是三个软件的统称，即Elasticsearch、logstash和kibana三个开源软件的缩写。这三款软件都是开源软件，通常配合使用，并且都会先后归于Elastic.co企业名下，故被简称为ELK协议线。ELK主要用于部署在企业架构中，收集多台设备上多个服务的日志信息，并将其统一整合后提供给用户。它可以从任何来源、任何格式进行日志搜索、分析与可视化展示

ELK官网网址如下：https://www.elastic.co/cn/

1.ELK日志分析系统组成

在ELK架构中，Elasticsearch、Logstash和Kibana三款软件作用如下：

• Elasticsearch（es）：通过搭建集群；存储日志数据，索引日志数据
• logstash：收集日志，收集到了后给es存储
• kibana：视图形式展现日志信息，更加人性化

1.1Elasticsearch（es）

Elasticsearch是一个高度可扩展的全文搜索和分析引擎，基于Apache Lucence（事实上，Lucence也是百度所采用的搜索引擎）构建，能够对大容量的数据进行接近实时的存储、搜索和分析操作

1.2Logstash

Logstash是一个**数据收集引擎，**它可以动态的从各种数据源搜集数据，并对数据进行过滤、分析和统一格式等操作，并将输出结果存储到指定位置上。Logstash支持普通的日志文件和自定义json格式的日志分析

1.3Kibana

Kibana是一个数据分析和可视化平台，通常与Elasticsearch配置使用，用于对其中的数据进行搜索、分析，并且以统计图表的形式展示

2.日志处理步骤

• 将日志进行集中化管理
• 将日志格式化（Logstash）并输出到Elasticsearch
• 对格式化后的数据进行索引和存储（Elasticsearch）
• 前端数据的展示（Kibana）

---

二、Elasticsearch

1.Elasticsearch概述

提供了一个分布式多用户能力的全文搜索引擎

2.Elasticsearch核心概念

2.1接近实时（NRT）

elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）

2.2集群（cluster）

一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能（共享数据）。其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是elasticsearch，集群名字很重要，每个节点是基于集群名字加入到集群中的
因此，确保在不同环境中使用不同的集群名字（server_id）
一个集群可以只有一个节点。强烈建议在配置elasticsearch时，配置成集群模式。es具有集群机制，节点通过集群名称加入到集群中，同时在集群中的节点会有一个自己的唯一身份标识（自己的名称）

2.3节点（node）

节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。当然，你可以自己定义，该名字也很重要，在集群中用于识别服务器对应的节点
节点可以通过指定集群名字来加入到集群中。默认情况，每个节点被设置成加入到elasticsearch集群。如果启动了多个节点，假设能自动发现对方，他们将会自动组建一个名为elasticsearch的集群

2.4索引（index）

一个索引即使一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引
一个索引由一个名字来标识（必须全部是小写字母），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，如果你想，可以定义任意多的索引

索引相对于关系型数据库的库

2.5类型（type）

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来丁。通常，会为具有一组共同字段的文档定义一个类型。
比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中，在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型

类型相对于关系型数据库的表

2.6文档（document）

一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON格式来标识，而JSON是一个到处存在的互联网数据交互格式
在一个index/type里面，只要你想，你可以存储任意多的文档。注意，虽然一个文档在物理上位于一个索引中，实际上一个文档必须在一个索引内被索引和分配一个类型

文档相当于关系型数据库的列（MySQL字段）

2.7分片和副本

在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需要1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为了解决这个问题，elasticsearch提供将索引分成多个分片的功能。当在创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上

分片的两个最主要原因：
a.水平分隔扩展，增大存储量
b.分布式并行跨分片操作，提高性能和吞吐量

分布式分片的机制和搜索请求的文档如何汇总完全是由elasticsearch控制的，这些对用户而言是透明的
网络文帝等等其他问题可以在任何时候不期而至，为了健壮性，强烈建议要有一个故障切换机制，无论何种故障以防止分片或者节点不可用
因此，elasticsearch让我们将索引分片复制一份或多分，称之为分片副本或副本

副本也有两个最主要原因：
a.高可用性，以应对分片或者节点故障。处于这个原因，分片副本要在不同的节点上
b.qps新跟那个，增大吞吐量，搜索可以并行在所有副本上执行

总之，每个索引可以被分成多个分片。一个索引也可以被复制0次或多次。一旦复制了，每个索引就有了主分片（作为复制源原来的分片）和复制分片（主分片的拷贝）之别。分片和副本的数量可以在索引创建的时候指定。在索引创建的时候，你可以在任何时候动态地改变副本地数量，但是你事后不能改变分片地数量
默认情况下，Elasticsearch中地每个索引被分片5个主分片和一个副本，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个副本分片（1个完全拷贝），这样的话每个索引总共就有10个分片

---

三、Logstash详解

• 一款强大的处理数据工具
• 可实现数据传输、格式处理、格式化输出
• 数据输出（从业务输出）、数据加工（如过滤、改写等）以及数据输出（输出到Elasticsearch集群）

1.Logstash的主要组件

• shipper：日志收集者，负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来，通常，远程代理端（agent）只需要运行这个组件即可
• indexer：日志存储者，负责接收日志并写入到本地文件
• broker：日志hub，负责链接多个shipper和多个indexer
• search and storage：允许对事件进行搜索和存储
• web interface：基于web的展示界面

以上组件在Logstash架构中可以独立部署，因此提供了很好的集群扩展性

---

四、Kibana详解

1.Kibana简介

• 一个针对Elastisearch的开源分析及可视化平台
• 搜索、查看存储在Elasticsearch索引中的数据
• 通过各种图标进行高级数据分析及展示
• 让海量数据更容易理解
• 操作简单，基于浏览器的用户界面就可以快速创建仪表板（dashboard）实时显示Elasticsearch查询动态
• 设置安装Kibana非常简单，无需编写代码，几分钟内就可以完成Kibana安装并启动

2.Kibana主要功能

• Elasticsearch无缝之集成：Kibana架构为Elasticsearch定制，可以将任何结构化和分结构化数据加入Elasticsearch索引。Kibana还充分利用了Elasticsearch强大的搜索和分析功能
• 整合数据：Kibana能偶更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图
• 复杂数据分析：Kibana提升了Elasticsearch分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切割分块
• 让更多团队成员受益：强大地数据库可视化接口让各业务岗位都能够从数据集合受益
• 接口灵活，分享更容易：使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流
• 配置简单：Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器，可以快速启动运行
• 可视化多数据源：Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch，支持第三方技术包括Apache Flume、Fluentd等
• 简单数据导出：Kibana可以方便地导出感兴趣地数据，与其它数据集合并融合后快速建模分析，发现新结果

---

五、ELK架构

如上图所示，Logstash安装在各个设备上，用于收集日志信息，收集到地日志信息统一汇总到Elasticsearch上，然后由Kibana负责Web端地展示。其中，如果终端设备过多，会导致Elasticsearch过载的现象。此时，我们可以采用一台Redis设备作为消息队列，以暂时缓存数据，避免Elasticsearch压力突发

---

六、ELK优点

• 处理方式灵活。Elasticsearch是全文索引，既有强大的搜索能力
• 配置相对简单。Kibana的配置非常简单，Elasticsearch则全部使用JSON接口，配置也不复杂，Logstash的配置使用模块的方式，配置也相对简单
• 检索性能高。ELK架构通常可以达到百亿级数据的查询秒级响应
• 集群线性扩展。Elasticsearch本身没有单点的概念，自动默认集群模式，Elasticsearch和Logstash都可以
• 灵活扩展
• 页面美观。Kibana的前端设计美观，且操作简单

---