ELK（Logstash+Elasticsearch+Kibana）

最新推荐文章于 2022-01-19 10:57:30 发布

Mr_陶先森

最新推荐文章于 2022-01-19 10:57:30 发布

阅读量288

点赞数

文章标签：可视化 kibana elk

本文链接：https://blog.csdn.net/m0_50650953/article/details/112302044

版权

本文介绍了ELK（Logstash+Elasticsearch+Kibana）日志分析系统，详细阐述了Elasticsearch、Logstash和Kibana的核心功能和作用。Elasticsearch是一个分布式搜索引擎，Logstash用于日志收集、处理和输出，Kibana则提供日志的可视化分析。文章还提供了ELK系统的部署步骤，包括在node1和node2上配置Elasticsearch，安装并配置Logstash进行日志搜集，以及在node1上安装Kibana进行数据展示。

摘要由CSDN通过智能技术生成

ELK日志分析系统简介

ELK日志分析系统是Logstash、Elasticsearch、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示

1、ELK日志分析系统组成
elasticsearch（es）：通过搭建群集；存储日志数据，索引日志数据
logstash ：收集日志，收集到了后给es存储
kibana ：视图形式展现日志信息，更加人性化

2、日志处理步骤
1.将日志进行集中化管理
2.将日志格式化（Logstash）并输出到Elasticsearch
3.对格式化后的数据进行索引和存储（Elasticsearch）
4.前端数据的展示（Kibana）
在这里插入图片描述

Elasticsearch介绍

1、Elasticsearch的概述

提供了一个分布式多用户能力的全文搜索引擎

2、Elasticsearch核心概念

（1）接近实时（NRT）

elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）

（2）集群（cluster）

一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是elasticsearch，集群名字很重要，每个节点是基于集群名字加入到其集群中的。因此，确保在不同环境中使用不同的集群名字。
一个集群可以只有一个节点。强烈建议在配置elasticsearch时，配置成集群模式。

（3）节点（node）

节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。当然，你可以自己定义。该名字也很重要，在集群中用于识别服务器对应的节点。
节点可以通过指定集群名字来加入到集群中。默认情况，每个节点被设置成加入到elasticsearch集群。如果启动了多个节点，假设能自动发现对方，他们将会自动组建一个名为elasticsearch的集群。

（4）索引（type）

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。
3、类型相对于关系型数据库的表索引（库）–》类型（表）–》文档（记录）

（5）分片和副本（shards & replicas）

在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为了解决这个问题，elasticsearch提供将索引分成多个分片的功能。当在创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。
每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和副本的数量可以在索引创建的时候指定。
在索引创建之后，你可以在任何时候动态地改变副本的数量，但是你事后不能改变分片的数量。
默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个副本，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个副本分片（1个完全拷贝），这样的话每个索引总共就有10个分片。

Logstash介绍

1、一款强大的数据处理工具

2、可实现数据传输、格式处理、格式化输出

3、数据输入（从业务输入）、数据加工（如过滤、改写等）以及数据输出（输出到Elasticsearch群集）

4、Logstash的主要组件

shipper：日志收集者，负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端（agent）只需要运行这个组件即可
indexer：日志存储者，负责接收日志并写入到本地文件
broker：日志hub，负责连接多个shipper和多个indexer
search and storage：允许对事件进行搜索和存储
web interface：基于Web的展示界面

Kibana介绍

1、一个针对Elasticsearch的开源分析及可视化平台

2、搜索、查看存储在Elasticsearch索引中的数据

3、通过各种图表进行高级数据分析及展示

4、主要功能：

Elasticsearch无缝之集成
整合数据，复杂数据分析
让更多团队成员收益
接口灵活，分享更容易
配置简单，可视化多数据源
简单数据导出

ELK日志分析系统部署

1、项目环境

主机名	IP地址
node1	192.168.100.10
node2	192.168.100.20
apache	192.168.100.30

[root@localhost ~]#systemctl stop firewalld ## 关闭防火墙
[root@localhost ~]#setenforce 0
[root@localhost ~]# hostnamectl set-hostname node1 #修改主机名
[root@localhost ~]# su
[root@node1 ~]# java -version #确认java已安装（Centos7.6自带）
openjdk version “1.8.0_181”
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)
[root@node1 ~]# vim /etc/hosts #添加本地解析，识别集群主机名
14.0.0.10 node1
14.0.0.20 node2

node1和node2中部署ES配置

1.安装elasticsearch-5.5.0.rpm包，包上传到/opt目录下

[root@node1 ~]# rpm -ivh elasticsearch-5.5.0.rpm
警告：elasticsearch-5.5.0.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID d88e42b4: NOKEY
准备中...                          ################################# [100%]
Creating elasticsearch group... OK
Creating elasticsearch user... OK
正在升级/安装...
   1:elasticsearch-0:5.5.0-1          ################################# [100%]