ELK日志分析系统

一.ELK日志服务器

优点：

• 提高安全性
• 集中存放日志

缺陷：

• 对日志分析困难（因为集中存放所以数据过大）

1.ELK两种安装方式

(1)集成环境：Logstash有一个集成包，里面包括了其全套的三个组件；也就是安装一个集成包。
(2)独立环境：三个组件分别单独安装、运行、各司其职。(比较常用)

二.ELK日志分析系统

• Elasticsearch
• Logstash
• Kibana

1.Elasticsearch概述

• 提供了一个分布式多用户能力的全文搜索引擎
• 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
• Elasticsearch是基于Licene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。
• Elasticsearch是java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计于云计算中，能够达到实时搜索，稳定、可靠、快速、安装使用方便

(1)集成环境：Logstash有一个集成包，里面包括了其全套的三个组件；也就是安装一个集成包。
(2)独立环境：三个组件分别单独安装、运行、各司其职。(比较常用)

(1)Elasticsearch核心概念

接近实时(NRT)：

• lasticsearch是一个接近实时的搜索平台，意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常为1秒）

集群：

• 一个集群是由一个或多个节点组织在一起，他们共同持有你整个的数据，并一起提供索引和搜索功能。其中一个节点为主节点，这个主节点是可以通过选举产生，并提供跨节点的联合索引和搜索功能。集群有一个唯一性标示的名字，默认是Elasticsearch，集群的名字很重要，每个节点是基于集群名字加入到其群中的。因此，确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点。强烈建议在配置Elasticsearch时，配置成集群模式。Elasticsearch具有集群机制，节点通过集群名称加入到急群众，同时在集群中的节点会有一个自己的唯一身份标识（自己的名称）

节点

• 有集群必定有节点
• 节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识的，默认是在节点启动时随机分配的字符名
• 节点名字也很重要，用于在集群中识别服务器对应的节点
• 节点可以通过指定集群名字加入到集群中。默认情况下，每个节点被设置为加入到 Elasticsearch 群集
• 如果启动了多个节点，假设能自动发现对方，那么他们将会自动组件一个名为 Elasticsearch 的集群

索引
索引（库）→类型（表）→文档（记录）

• 索引根据以上这个方式来进行数据（位置）定位
• 一个索引就是一个拥有几分相似特征的文档的集合
• 一个索引由一个名字来标识（必须是全小写），每当我们需要对这个索引中的文档进行索引、搜索、更新和删除的时候，都需要使用到这个名字
• 相当于关系数据库中的库

分片

• 在实际情况下，索引存储的数据可能超过单个节点的硬件限制，如一个巨大的文档需要1TB的空间，可能并不需要存储在单个节点的磁盘上，或者这样子从单个节点上搜索请求速度会非常慢。为了解决这个问题，Elasticsearch 提供将索引分层多个分片的功能
• 如，一个40G的文件，分为两份20G的文件，存放至两个节点上，这样读取这个40G的文件时，会效率更快
• 当在创建索引时，可以定义想要分片的数量，每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上

分片的两个最主要特点就是：

• 水平分割扩展，增大存储量
  能够分布式并行跨分片操作，提供性能和吞吐量
  分布式分片的机制和搜索请求的文档如何汇总是有 ES 进行控制的，且对用户完全透明

副本

• 网络问题等很多方面的风险可能会接踵而来，为了健壮性，强烈建议要有一个故障切换机制，无论何种遇到何种故障，都能防止分片或节点不可用（单点故障）
• 为此，ES 让我们将索引分片复制一份或多份，称之为分片副本或副本
• 核心是为了容灾，不过也可以处理任务分片加上副本的使用
• 例如，四台主机同时处理一项任务，理论上效率可以提高四倍！

副本也有两个最重要的特点：

• 高可用性，以应对分片或节点故障，故此，分片副本要在不同的节点上
• 高性能，增加吞吐量，搜索可以在所有的副本上执行

2.Logstash概述

• 一款强大的数据处理工具
• 可实现数据传输、格式处理、格式化输出
• 数据输入、数据加工（过滤、改写等）以及数据输出（input、output、filter）
• 是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用

(1)Logstash主要组件

组件	解释
Shipper	负责日志收集。职责是监控本地日志文件的变化，并输出到 Redis 缓存起来
Indexer	负责日志存储。在这个架构中会从 Redis 接收日志，写入到本地文件
Broker	可以看作是日志集线器，可以连接多个 Shipper 和多个 Indexer
Search and Storage	允许对事件进行搜索和存储
Web Interface	基于Web的展示界面

3.Kibana概述

• 它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。
• 一个针对Elasticsearch的开源分析及可视化平台
• 搜索、查看存储在Elasticsearch索引中的数据
• 通过各种图表进行高级数据分析及展示
• 日志展示界面，数据源来自Elasticsearch

(1)主要功能

• Elasticsearch无缝集成
• 整合数据，复杂数据分析
• 让更多团队成员受益
• 接口灵活，分享更容易
• 配置简单，可视化多数据源
• 简单数据导出

4.四大组件

组件	解释
Logstash	logstash server端用来搜集日志
Elasticsearch	存储各类日志
Kibana	web化接口用作查寻和可视化日志
Logstash Forwarder	logstash client端用来通过lumberjack 网络协议发送日志到logstash server

三.日志处理步骤

• 在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

1.ELK工作原理展示

【APPServer集群】→【logstash Agent采集器】→【Elasticsearch Cluster】→【Kibana Server】→【Browser】

1.将日志进行集中化管理（beats）
beats包含工具：

• Packetbeat（搜集网络流量数据）
• Topbeat（搜集系统、进程和文件系统级别的CPU和内存使用情况等数据）
• Filebeat（搜集文件数据）
• Winlogbeat（搜集Windows时间日志数据）

2.将日志格式化（Logstash）并输出到Elasticsearch
3.对格式化后的数据进行索引和存储（Elasticsearch）
4.前端数据的展示（Kibana）