ELK日志分析系统
一.ELK日志服务器
优点:
- 提高安全性
- 集中存放日志
缺陷:
- 对日志分析困难(因为集中存放所以数据过大)
1.ELK两种安装方式
(1)集成环境:Logstash有一个集成包,里面包括了其全套的三个组件;也就是安装一个集成包。
(2)独立环境:三个组件分别单独安装、运行、各司其职。(比较常用)
二.ELK日志分析系统
- Elasticsearch
- Logstash
- Kibana
1.Elasticsearch概述
- 提供了一个分布式多用户能力的全文搜索引擎
- 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
- Elasticsearch是基于Licene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。
- Elasticsearch是java开发的,并作为Apache许可条款下的开放源码发布,是第二流行的企业搜索引擎。设计于云计算中,能够达到实时搜索,稳定、可靠、快速、安装使用方便
(1)集成环境:Logstash有一个集成包,里面包括了其全套的三个组件;也就是安装一个集成包。
(2)独立环境:三个组件分别单独安装、运行、各司其职。(比较常用)
(1)Elasticsearch核心概念
接近实时(NRT):
- lasticsearch是一个接近实时的搜索平台,意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常为1秒)
集群:
- 一个集群是由一个或多个节点组织在一起,他们共同持有你整个的数据,并一起提供索引和搜索功能。其中一个节点为主节点,这个主节点是可以通过选举产生,并提供跨节点的联合索引和搜索功能。集群有一个唯一性标示的名字,默认是Elasticsearch,集群的名字很重要,每个节点是基于集群名字加入到其群中的。因此,确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点。强烈建议在配置Elasticsearch时,配置成集群模式。Elasticsearch具有集群机制,节点通过集群名称加入到急群众,同时在集群中的节点会有一个自己的唯一身份标识(自己的名称)
节点
- 有集群必定有节点
- 节点就是一台单一的服务器,是集群的一部分,存储数据并参与集群的索引和搜索功能。像集群一样,节点也是通过名字来标识的,默认是在节点启动时随机分配的字符名
- 节点名字也很重要,用于在集群中识别服务器对应的节点
- 节点可以通过指定集群名字加入到集群中。默认情况下,每个节点被设置为加入到 Elasticsearch 群集
- 如果启动了多个节点,假设能自动发现对方,那么他们将会自动组件一个名为 Elasticsearch 的集群
索引
索引(库)→类型(表)→文档(记录)
- 索引根据以上这个方式来进行数据(位置)定位
- 一个索引就是一个拥有几分相似特征的文档的集合
- 一个索引由一个名字来标识(必须是全小写),每当我们需要对这个索引中的文档进行索引、搜索、更新和删除的时候,都需要使用到这个名字
- 相当于关系数据库中的库
分片
- 在实际情况下,索引存储的数据可能超过单个节点的硬件限制,如一个巨大的文档需要1TB的空间,可能并不需要存储在单个节点的磁盘上,或者这样子从单个节点上搜索请求速度会非常慢。为了解决这个问题,Elasticsearch 提供将索引分层多个分片的功能
- 如,一个40G的文件,分为两份20G的文件,存放至两个节点上,这样读取这个40G的文件时,会效率更快
- 当在创建索引时,可以定义想要分片的数量,每一个分片就是一个全功能的独立的索引,可以位于集群中任何节点上
分片的两个最主要特点就是:
- 水平分割扩展,增大存储量
能够分布式并行跨分片操作,提供性能和吞吐量
分布式分片的机制和搜索请求的文档如何汇总是有 ES 进行控制的,且对用户完全透明
副本
- 网络问题等很多方面的风险可能会接踵而来,为了健壮性,强烈建议要有一个故障切换机制,无论何种遇到何种故障,都能防止分片或节点不可用(单点故障)
- 为此,ES 让我们将索引分片复制一份或多份,称之为分片副本或副本
- 核心是为了容灾,不过也可以处理任务分片加上副本的使用
- 例如,四台主机同时处理一项任务,理论上效率可以提高四倍!
副本也有两个最重要的特点:
- 高可用性,以应对分片或节点故障,故此,分片副本要在不同的节点上
- 高性能,增加吞吐量,搜索可以在所有的副本上执行
2.Logstash概述
- 一款强大的数据处理工具
- 可实现数据传输、格式处理、格式化输出
- 数据输入、数据加工(过滤、改写等)以及数据输出(input、output、filter)
- 是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用
(1)Logstash主要组件
组件 | 解释 |
---|---|
Shipper | 负责日志收集。职责是监控本地日志文件的变化,并输出到 Redis 缓存起来 |
Indexer | 负责日志存储。在这个架构中会从 Redis 接收日志,写入到本地文件 |
Broker | 可以看作是日志集线器,可以连接多个 Shipper 和多个 Indexer |
Search and Storage | 允许对事件进行搜索和存储 |
Web Interface | 基于Web的展示界面 |
3.Kibana概述
- 它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。
- 一个针对Elasticsearch的开源分析及可视化平台
- 搜索、查看存储在Elasticsearch索引中的数据
- 通过各种图表进行高级数据分析及展示
- 日志展示界面,数据源来自Elasticsearch
(1)主要功能
- Elasticsearch无缝集成
- 整合数据,复杂数据分析
- 让更多团队成员受益
- 接口灵活,分享更容易
- 配置简单,可视化多数据源
- 简单数据导出
4.四大组件
组件 | 解释 |
---|---|
Logstash | logstash server端用来搜集日志 |
Elasticsearch | 存储各类日志 |
Kibana | web化接口用作查寻和可视化日志 |
Logstash Forwarder | logstash client端用来通过lumberjack 网络协议发送日志到logstash server |
三.日志处理步骤
- 在需要收集日志的所有服务上部署logstash,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后的内容发送到Redis,然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch,可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。
1.ELK工作原理展示
【APPServer集群】→【logstash Agent采集器】→【Elasticsearch Cluster】→【Kibana Server】→【Browser】
1.将日志进行集中化管理(beats)
beats包含工具:
- Packetbeat(搜集网络流量数据)
- Topbeat(搜集系统、进程和文件系统级别的CPU和内存使用情况等数据)
- Filebeat(搜集文件数据)
- Winlogbeat(搜集Windows时间日志数据)
2.将日志格式化(Logstash)并输出到Elasticsearch
3.对格式化后的数据进行索引和存储(Elasticsearch)
4.前端数据的展示(Kibana)