ELK日志分析系统 logstash日志收集 elasticsearch 搜索引擎 kibana 可视化平台

m0_63761361

已于 2022-05-04 09:52:58 修改

阅读量547

点赞数

文章标签： elasticsearch 搜索引擎 elk

于 2022-05-04 09:52:56 首次发布

本文链接：https://blog.csdn.net/m0_63761361/article/details/124565656

版权

本文详细介绍了ELK日志分析系统，包括Elasticsearch的核心概念如分布式、索引、分片和副本，Logstash的数据处理流程，以及Kibana的可视化功能。ELK处理过程为：后端服务器生成日志，Logstash收集和过滤，Elasticsearch存储，Kibana进行可视化展示。

摘要由CSDN通过智能技术生成

在node1 node2配置安装 Elasticsearch

安装 logstash 搜集日志输出到 Elasticsearch 中 (192.168.78.33)

安装 Kibana node1(192.168.78.11)

总结

ELK处理过程

一、ELK日志分析系统

1、ELK 日志分析系统

E：Elasticsearch（ES 数据库）：
最重要的两个功能在于索引与存储
百度、Github 的引擎是使用的 ES 索引数据库（主流）

L：Logstash：
收集日志
转存至 ES

K:Kibana：
是一个展示界面
数据源来自 ES

2、日志服务器

提高安全性：仅是基于日志来恢复和定位故障，是很困难的
集中存放日志，即集中化管理
缺陷：对日志的分析困难，因为集中化管理，所以信息量更加巨大

1.AppServer 是一个类似于 Nginx、Apache 的集群，其日志信息由 Logstash 来收集
2.往往为了减少网络问题所带来的瓶颈，会把 Logstash 服务放入前者的集群内，减少网络的消耗
3.Logstash 把收集到的日志数据格式化后输出转存至 ES 数据库内（这是一个将日志进行集中化管理的过程）
4.随后，Kibana 对 ES 数据库内格式化后日志数据信息进行索引和存储
5.最后，Kibana 把其展示给客户端

1、将日志进行集中化管理

2、将日志格式化（Logstash）并输出到Elasticsearch

3、对格式化后的数据进行索引和存储（Elasticsearch）

4、前端数据的展示（Kibana）

二、 Elasticsearch 介绍

1.概述

提供了一个分布式多用户能力的全文搜索（索引）引擎，开源，使用 Java 开发
分布式即数据不会放在一个地方
正是 ES 这些优秀的机制，所以会被百度等龙头企业所选择

2.核心概念

2.1 接近实时（NRT）

指索引和数据处理的能力
即从索引一个文档直到这个文档能够被搜索到仅有一个轻微的延迟（一般是1秒）

2.2 集群（Cluster）

一个内部组件 ES 的架构（特性：ES 具有集群机制，节点通过集群名称加入到集群时，同时在集群中的节点会有一个自己的唯一身份标识）
一个集群就是由一个或多个节点组织在一起，它们共同持有你的整个的数据，并一起提供索引和搜索功能
其中一个节点为主节点，其可通过选举产生，并提供跨节点的联合索引和搜索的功能
集群有一个唯一性的标示的名字，默认为 Elasticsearch，集群的名字很重要！每个节点都是基于集群的名字加入到集群中的。因此，确保在不同环境中使用不同的集群名字

2.3 节点（node）

有集群必定有节点
节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识的，默认是在节点启动时随机分配的字符名
节点名字也很重要，用于在集群中识别服务器对应的节点
节点可以通过指定集群名字加入到集群中。默认情况下，每个节点被设置为加入到 Elasticsearch 群集
如果启动了多个节点，假设能自动发现对方，那么他们将会自动组件一个名为 Elasticsearch 的集群

2.4 索引（index）

索引（库）→索引类型（表）→索引的具体文档（记录）
索引根据以上这个方式来进行数据（位置）定位
一个索引就是一个拥有几分相似特征的文档的集合
一个索引由一个名字来标识（必须是全小写），每当我们需要对这个索引中的文档进行索引、搜索、更新和删除的时候，都需要使用到这个名字
相当于关系数据库中的库

2.5 类型（type）

在一个索引中，你可以定义一种或多种类型
一个类型是你的索引的一个逻辑上的分类/分区，其语义由你自定义
类比与关系数据库中的表

2.6 文档（document）

一个文档是一个可被索引的基础信息单元
类比于关系数据中的列

2.7 分片（Shard）

在实际情况下，索引存储的数据可能超过单个节点的硬件限制，如一个巨大的文档需要1TB的空间，可能并不需要存储在单个节点的磁盘上，或者这样子从单个节点上搜索请求速度会非常慢。为了解决这个问题，Elasticsearch 提供将索引分层多个分片的功能
如，一个40G的文件，分为两份20G的文件，存放至两个节点上，这样读取这个40G的文件时，会效率更快
当在创建索引时，可以定义想要分片的数量，每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上
分片的两个最主要特点就是：
水平分割扩展，增大存储量
能够分布式并行跨分片操作，提供性能和吞吐量
分布式分片的机制和搜索请求的文档如何汇总是有 ES 进行控制的，且对用户完全透明

2.8 副本（Replicas）

网络问题等很多方面的风险可能会接踵而来，为了健壮性，强烈建议要有一个故障切换机制，无论何种遇到何种故障，都能防止分片或节点不可用（单点故障）
为此，ES 让我们将索引分片复制一份或多份，称之为分片副本或副本
核心是为了容灾，不过也可以处理任务
分片加上副本的使用：例如，四台主机同时处理一项任务，理论上效率可以提高四倍！
副本也有两个最重要的特点：
高可用性，以应对分片或节点故障，故此，分片副本要在不同的节点上
高性能，增加吞吐量，搜索可以在所有的副本上执行

2.9 小结

总之，每个索引可以被分成多个分片，且一个索引也可以被复制0次（即没有复制）或多次
一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别
分片和副本的数量可以在索引创建的时候指定，在索引创建之后，你可以在任何时候动态地改变副本的数量，但是你事后不能改变分片的数量
默认情况下，ES 中的每个索引被分片5个主分片和1个副本，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个副本分片（1个完全拷贝），这样的话每个索引总共就有10个分片