ELK日志分析系统

最新推荐文章于 2024-05-23 21:37:25 发布

花生味花生米

最新推荐文章于 2024-05-23 21:37:25 发布

阅读量908

点赞数

文章标签： elk

本文链接：https://blog.csdn.net/qq_59161414/article/details/127244603

版权

本文详细介绍了ELK（Elasticsearch、Logstash、Kibana）日志分析系统的概念、优点和工作原理。ELK是用于日志收集、分析和可视化的强大工具，具有灵活处理、配置简单、检索性能高等优点。文中逐步讲解了如何部署Elasticsearch，包括集群设置、安装Elasticsearch-head插件，以及Logstash和Kibana的配置与测试。通过ELK，可以高效管理和分析分布在不同服务器上的日志，提高问题定位的效率。

摘要由CSDN通过智能技术生成

九.安装安装 Elasticsearch-head 插件

1.编译安装node

2.安装 phantomjs

3.安装 Elasticsearch-head 数据可视化工具

4.修改 Elasticsearch 主配置文件

5.启动 elasticsearch-head 服务

6.通过 Elasticsearch-head 查看 ES 信息

前言

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。

一.ELK简介

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

二.ELK优点

ELK架构优点如下：
1、处理方式灵活。 Elasticsearch是全文索引，具有强大的搜索能力。
2、配置相对简单。 Kibana的配置非常简单，Elasticsearch则全部使用Json接口，配置也不复杂，Logstash的配置使用模块的方式，配置也相对简单。
3、检索性能高。 ELK架构通常可以达到百亿级数据的查询秒级响应。
4、集群线性扩展。 Elasticsearch本身没有单点的概念，自动默认集群模式，Elasticsearch和Logstash都可以灵活扩展。
5、页面美观。 Kibana的前端设计美观，且操作简单。

三.为什么需要ELK

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

四.ELK工作原理

1.AppServer 是一个类似于 Nginx、Apache 的集群，其日志信息由 Logstash 来收集
2.往往为了减少网络问题所带来的瓶颈，会把 Logstash 服务放入前者的集群内，减少网络的消耗
3.Logstash 把收集到的日志数据格式化后输出转存至 ES 数据库内（这是一个将日志进行集中化管理的过程）
4.随后，Kibana 对 ES 数据库内格式化后日志数据信息进行索引和存储
5.最后，Kibana 把其展示给客户端

五.Elasticsearch介绍

提供了一个分布式多用户能力的全文搜索引擎
Elasticsearch的核心:

1.接近实时（NRT）

Elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）

2.集群（cluster）

一个集群就是由一个或者多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。其中一个为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索功能。
集群有一个唯一性标示的名字，默认是Elasticsearch，集群的名字很重要，每个节点是基于集群名字加入到集群中的。因此，确保在不同的环境中使用不同的集群名字。
一个集群可以只有一个节点，建议在配置Elasticsearch时，配置成集群模式。
Elasticsearch具有集群机制，节点通过集群名称加入到集群中，同时在集群中的节点会有一个自己唯一的身份标识（自己的名称）

3.节点（node）

节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。也可自己定义，名字很重要，在集群中用于识别服务器对应的节点
节点可以通过指定集群名字来加入到集群中。默认情况下，每个节点被设置成加入到Elasticsearch集群。如果启动了多个节点，假设能自动发现对方，他们将会自动组建一个名为Elasticsearch的集群。

4.索引（index）

一个索引就是一个拥有几分相似特征的文档的集合。
一个索引由一个名字来标识（必须全部是小写字母），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候。都要使用到这个名字。在一个集群中，可以定义任意多的索引。

5.类型（type）

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。
通常会为具有一组共同字段的文档定义一个类型。

6.文档（document）

一个文档是一个可被索引的基础信息单元
在一个index/type里面，只要你想，你可以存储任意多的文档。注意，虽然一个文档在物理上位于一个索引中，实际上一个文档必须在一个索引内被索引和分配一个类型

7、分片和副本（shards & replicas）也是es作为搜索引擎比较快的原因

实际情况下，索引存储的数据可能超过单个节点的硬件限制。为了解决这个问题，Elasticsearch提供将索引分成多个分片的功能。当在创建索引时，可以定义想要的分片数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。

分片的主要原因：

水平分割扩展，增大存储量
分布式并跨越分片操作，提高性能和吞吐量
分布式分片机制和搜索请求的文档如何火鬃完全是由Elasticsearch控制的，这些对用户是完全透明的。
为了健壮性，建议有一个故障切换机制，为此，Elasticsearch让我们将索引分片复制一份或多份，称之为分片副本

分片副本的原因：

高可用性，以应对分片或者节点故障。处于这个原因，分片副本要在不同的节点上
增大吞吐量，搜索可以并行在所有副本上执行
总之，每个索引可以被分成多个分片。一个索引可以被复制0次或者多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和副本的数量可以在索引创建的时候指定。在索引创建之后，你可以在指定任何时候动态的改变副本的数量，但是你事后不能改变分片的数量。

默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个副本，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外的5个副本分片（一个完全拷贝），这样的话每个索引总共有10个分片。

8.相关概念在关系型数据库和ElasticSearch中的对应关系

关系型数据库   Elasticserch
数据库database   索引index，支持全文索引
表table   类型type
数据行row   文档document。但不需要固定结构，不同文档可以具有不同字段集合
数据列cloumn   字段field
模式schema   映像mapping