Elastic Stack (ELK) 实战篇：实现分布式系统日志收集与统计分析

最新推荐文章于 2025-02-28 08:39:35 发布
最新推荐文章于 2025-02-28 08:39:35 发布
阅读量2.5k 收藏 7
点赞数 2
分类专栏： # Elasticsearch 文章标签： elk elastic elasticsearch kibana logstash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41947378/article/details/109448209
版权

Elastic Stack(ELK)

ElasticSearch + Logstash + Kibana

一、分布式带来的变革

1. 多个节点

分布式系统的特点：SOA,微服务架构，大规模集群网络

在这里插入图片描述
试想一下：
假设集群网络只有 100 台服务器。采用人肉运维的方式，处理服务器各种异常。
运维人员：每一台服务器打一个记号，Excel 记录下每一台机器运行特点，如果某一台服务器出现问题，运维人员直接定位机器，查询日志，修复问题。

如果是10000 台 服务器怎么办？那么如何收集海量服务器节点上的日志，进行分析，处理？

  • 1、监控服务器状态
  • 2、收集一些有用的数据，进行分析。

解决方案：
1、ELK (一周时间搞定的东西，ehcarts 图形化报表)
2、hadoop (一个月都搞不定)

E：elasticsearch 存储日志数据
L：logstash 收集日志
K：Kibana UI 视图，把收集的日志数据，进行图形化界面方式直接展示给用户

在这里插入图片描述

2. 日志分散

微服务，SOA(面向服务架构)—→ 分布式的架构 ： 日志分散在每一个服务器
1000 台服务器：
A B …………………………………… 1000 台(请求恰好打到第 1000 台)
0 0                1

3. 运维成本高

通常，日志被分散在储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的 syslog，将所有服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk 和 wc 等 Linux 命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

Linux 命令方式：

tail -n 300 myes.log | grep 'node-1' ##搜索某个日志在哪里
tail -100f myes.log

二、Elastic Stack 认识

如果你没有听说过 Elastic Stack，那你一定听说过 ELK，实际上 ELK 是三款软件的简称，分别是 Elasticsearch、Logstash、Kibana 组成，在发展的过程中，又有新成员 Beats 的加入，所以就形成了 Elastic Stack。所以说，ELK 是旧的称呼，Elastic Stack 是新的名字。
在这里插入图片描述

全系的 Elastic Stack 技术栈包括：
在这里插入图片描述

1）Elasticsearch
Elasticsearch 基于 java，是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源，自动搜索负载等。

2）Logstash
Logstash 基于 java，是一个开源的用于收集,分析和存储日志的工具。

3）Kibana
Kibana 基于 nodejs，也是一个开源和免费的工具，Kibana 可以为 Logstash 和 ElasticSearch提供的日志分析友好的 Web 界面，可以汇总、分析和搜索重要数据日志。

4）Beats
Beats 是 elastic 公司开源的一款采集系统监控数据的代理 agent，是在被监控服务器上以客户端形式运行的数据收集器的统称，可以直接把数据发送给 Elasticsearch 或者通过 Logstash发送给 Elasticsearch，然后进行后续的数据分析活动。

Beats 由如下组成:

  • Packetbeat：是一个网络数据包分析器，用于监控、收集网络流量信息，Packetbeat 嗅探服务器之间的流量，解析应用层协议，并关联到消息的处理，其支 持 ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL、Redis、MongoDB、Memcache 等协议；
  • Filebeat：用于监控、收集服务器日志文件，其已取代 logstash forwarder；
  • Metricbeat：可定期获取外部系统的监控指标信息，其可以监控、收集 Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、System、Zookeeper 等服务；
  • Winlogbeat：用于监控、收集 Windows 系统的日志信息；

三、Logstash

1. 基本语法

# 标准输入输出 -e 追加环境变量，设置启动参数
./logstash -e 'input{ stdin{} } output{ stdout{} }'
# 指定输出数据格式为 json 格式
./logstash -e 'input{ stdin{} } output{ stdout{ codec => json } }'

注意：输入输出基于事件机制，输入回车后触发标准输出事件，此时就会把输入的数据以某种格式进行输出。

效果：
在这里插入图片描述

在这里插入图片描述

官方文档：
https://www.elastic.co/guide/en/logstash/current/index.html

在这里插入图片描述

在这里插入图片描述

语法：
在这里插入图片描述

# 把数据输入到 es 当中
./logstash -e 'input{ stdin{} } output{ elasticsearch{ hosts => ["192.168.66.66:9200"]} stdout{ } }'

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

配置索引库名字：
在这里插入图片描述

# 把数据输入到 es 中，同时指定索引库名称
./logstash -e 'input{ stdin{} } output{ elasticsearch{ hosts => ["192.168.66.66:9200"] index => "test001"} stdout{ } }'

在这里插入图片描述

2. 配置文件方式启动

在这里插入图片描述

在这里插入图片描述

启动指令：./logstash -f xx.conf

3. 读取文件日志

file插件属性:

在这里插入图片描述
path：指定日志文件的位置路径
start_position：表示日志读取位点，记录上次日志读取位置。读取日志有 2 种顺序，一个是从 beginning 开始读取。一个是从end 开始读取。
type：类型，相当于定义名称，随意
在这里插入图片描述
通过 file 插件从日志文件中读取数据，在把数据输入到 elasticsearch.

在这里插入图片描述

4. 条件输出到多个文件

在这里插入图片描述

有时，您只想在某些条件下过滤或输出事件。为此，您可以使用条件语句。

Logstash中的条件语句的外观和行为与它们在编程语言中的方式相同。条件语句支持if、else if和else语句，并且可以嵌套。

条件语法是:
在这里插入图片描述

表达式可以很长很复杂。表达式可以包含其他表达式，可以用!对表达式进行否定，还可以用括号对它们进行分组
例如，如果字段操作的值为login，下面的条件使用mutate过滤器来删除字段secret:
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

5. 项目日志

5.1 导入相关依赖

<dependency>
	<groupId>net.logstash.logback</groupId>
	<artifactId>logstash-logback-encoder</artifactId>
	<version>5.2</version>
</dependency>

在这里插入图片描述

5.2 配置文件

在这里插入图片描述

在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
	<include resource="org/springframework/boot/logging/logback/base.xml"/>
	<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
		<destination>192.168.66.66:9601</destination>
		<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
	</appender>
	<root level="INFO">
		<appender-ref ref="LOGSTASH" />
		<!-- <appender-ref ref="CONSOLE" />-->
	</root>
</configuration>

5.3 logstash 安装插件

./logstash-plugin install logstash-codec-json_lines

5.4 logstash 配置文件

在这里插入图片描述

input {
	tcp {
		port => 9601
		codec => json_lines
	}
}
output {
	elasticsearch {
		hosts => ["192.168.66.66:9200"]
		index => "kkb-log-%{+YYYY.MM.dd}"
	}
	stdout {codec => rubydebug }
}

5.5 效果：

在这里插入图片描述
在这里插入图片描述

6. Nginx 日志

6.1 设置nginx日志输出格式

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

6.2 启动nginx

./nginx

在这里插入图片描述

启动后访问，查看日志：
在这里插入图片描述

6.3 设置logstash

在这里插入图片描述

指定输入格式为json格式后，就会把json中的字段当成ES中索引库的字段

在这里插入图片描述

四、Kibana

1. 日志视图

启动成功后：
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2. 可视化数据

添加统计视图：
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

添加视图到仪表盘：
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

不停刷新
在这里插入图片描述

在这里插入图片描述

如果要收集大流量的数据，实时写入的数据量很高，就要把数据放入Kafka缓冲，在用Logstash从Kafka中读取，在放入ES中

Elastic Stack ELK日志分析平台介绍及使用
AI天才研究院
08-04 1745
18年，Elasticsearch、Logstash、Kibana（ELK）以及Apache Kafka等开源技术在数据处理和日志分析领域广受关注。作为一款开源分布式搜索和分析引擎，Elastic Stack 无疑是最热门的企业级日志解决方案之一。基于它的ELK组件架构可以快速搭建日志分析平台，支持复杂日志检索、提取、分析功能，具备强大的可视化能力，还可以通过RESTful API接口调用或Python客户端进行扩展。ELK是ELK Stack中的最后一环，用于将日志信息实时地收集、存储、分析并呈现给用户。
分布式日志分析系统--ELK
flytalei的博客
07-30 1073
ELK是由elastic公司开发的三个开源项目( Elasticsearch、Logstash和Kibana)的首字母缩写，三个项目各有不同的功能。后来elastic又增加了许多新项目，于是从5.X版本后改名为Elastic Stack。Elastic Stack是一套适用于数据采集、扩充、存储、分析和可视化的免费开源工具。
创业公司做数据分析（四）ELK日志系统
茅庐
01-07 1万+
本文将重点探讨数据采集层中的ELK日志系统，结合自身实践来介绍如何使用ELK系统、使用中的问题以及如何解决。ELK是一套开源的集中式日志数据管理的解决方案，由Elasticsearch、Logstash和Kibana三个系统组成。
日志统计-双指针
qq_41581913的博客
02-06 496
小明维护着一个程序员论坛。现在他收集了一份”点赞”日志，日志共有 N 行。 其中每一行的格式是： ts id 表示在 ts 时刻编号 id 的帖子收到一个”赞”。 现在小明想统计有哪些帖子曾经是”热帖”。 如果一个帖子曾在任意一个长度为 D 的时间段内收到不少于 K 个赞，小明就认为这个帖子曾是”热帖”。 具体来说，如果存在某个时刻 T 满足该帖在 [T,T+D) 这段时间内(注意是左闭右开区间)...
Observability：使用 Elastic Agent 轻松、全面地监控 Logstash
最新发布
Elastic 中国社区官方博客
02-28 809
Logstash 是一个强大的工具，可以从各种来源提取、转换和传送数据。对 Logstash 的可见性对于优化性能和解决与数据提取相关的问题至关重要。我们极大地改进了 Logstash 集成，以便一目了然地显示你的 Logstash 节点和管道的状态。该集成现在由 Elastic Agent 提供支持，它查询 Logstash 监控 API 以获取填充托管仪表板的数据。本博客将指导你了解集成提供的可视化功能、如何配置和安装它们以及提供数据的底层 API。
Elastic Stack之日志收集
wangxudongx的专栏
12-28 870
Elastic Stack之日志收集Logstash部署Logstashpull镜像配置目录及基础配置文件解读运行容器测试将微服务项目日志做Logstash数据源调整Logstash管道项配置微服务项目配置引入logstash-logback-encoder依赖增加logback.xml配置内容测试 THE ELASTIC STACK 包括 Elasticsearch、Kibana、Beats ...
ELK日志统计系统搭建
qq_37713191的博客
01-06 1072
ELK是什么 ELK是三个开源软件的缩写，分别表示： Elasticsearch , Logstash, Kibana , 都是开源软件 以下演示windows环境下elk安装 Elasticsearch安装 https://www.cnblogs.com/hualess/p/11540477.html Kibana 安装 https://blog.csdn.net/weixin_34727238/article/details/81200071 Logstash安装 下载地址 Logstash工作流程
强大的日志查询和统计等需求 ---＞ ELK 企业级日志分析系统
穷则独善其身 达则兼善天下
07-19 941
ELK 企业级日志分析系统一.ELK 概述1.ELK简介2.为什么要使用 ELK3.完整日志系统基本特征4.ELK 的工作原理二.ELK Elasticsearch 集群部署（在Node1、Node2节点上操作）三.ELK Logstash 部署（在 Apache 节点上操作）四.ELK Kiabana 部署（在 Apache 节点上操作）五.Filebeat+ELK 部署 一.ELK 概述 1.ELK简介 ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 K
java7源码-elk-stack:Elasticlogstashkibana分布式日志收集分析，可视化展示
06-04
ELK，也就是Elasticsearch、Logstash、Kibana三者的结合，是一套开源的分布式日志管理方案. Elasticsearch：负责日志存储、检索和分析 LogStash：负责日志的收集、处理 Kibana：负责日志的可视化 方案： 2. 环境搭建...
第六十一章：部署ELK分布式日志分析平台1
08-08
总的来说，ELK分布式日志分析平台通过其组件的协同工作，实现了日志的高效管理和智能分析，是现代大规模IT环境中的重要工具。对于运维人员而言，它能帮助快速定位问题，对于开发人员来说，它提供了便捷的数据查询...
ElasticStack(ELK)从入门到实践.pdf
06-11
Elastic Stack，原名ELK Stack，是一个用于搜索、分析和可视化日志数据的开源工具套件。它由Elasticsearch、Logstash、Kibana和Beats这四个组件组成，分别承担不同功能。 首先，Elasticsearch是一个基于Lucene构建...
ELK+Filebeat+Kafka+Zk日志收集分析统计系统
会飞的架狗师的博客
10-26 811
通过日志分析解决系统故障，是发现问题的主要手段。日志包含多种类型，包括程序日志，系统日志以及安全日志等等。通过对日志进行分析，可以预防故障的发生，又可以在故障发生时，寻找到蛛丝马迹，快速定位故障点，及时解决问题。在分布式系统下，假如一个后端服务部署了几十个节点，这时候你想要查看日志、分析日志就会异常麻烦，所以非常需要这样一个专门收集各个系统日志的平台，对于这个场景，业界最受欢迎的应该就是这个elk的解决方案了。隶属于Beats，轻量级数据收集引擎。
大型网站日志分布式分析
weixin_43272605的博客
05-19 526
学完了几个基础的大数据框架和组件，自己也初步的搭建了一个电商数据网站的日志分析系统。当然由很多不足的地方，或许根本不能投入生产使用，但是不仅是我一个自己的总结，也是学习灵活的运用。 这里我不会介绍每个组件的安装即怎么使用，后续会将使用博客一次写好。我只复习这次项目的大概实现路径。还有就是下面我介绍的代码看注解步骤就行，因为很多自己封装了一些工具类并没有上传，太多，详细的见github：https:...
ELK 分布式日志实战-6.4.0
afd2828的博客
09-19 299
一. ELK 分布式日志实战介绍 　　此实战方案以 Elk 5.5.2 版本为准，分布式日志将以下图分布进行安装部署以及配置。 　　当Elk需监控应用日志时，需在应用部署所在的服务器中，安装Filebeat日志采集工具，日志采集工具通过配置，采集本地日志文件，将日志消息传输到Kafka集群， 我们可部署日志中间服务器，安装Logstash日志采集工具，Logstash直接消...
运用 Elastic Stack 收集 docker 容器日志
Elastic 中国社区官方博客
10-12 2286
Elastic Stack 在收集日志方面有很多的方面的应用。在今天的文章中，我将使用 docker 来安装 Elastic Stack。我将演示如何使用 docker 安装 Filebeat 并收集容器的日志。
ELK架构实现日志收集分析
热门推荐
Jack 架构师之路
02-10 1万+
引言   最近项目有了上线计划，现在面临着日志收集分析的问题，所以让小编来研究一下日志收集分析架构，下面就给大家分享一下小编搭建的第一套日志框架。   环境搭建过程见Linux系统ELK环境搭建手册   架构图如下：            下面说一下这个架构的实现原理，logstash在架构中起到的作用是从每台服务器上的某个路径中的文件中收集数据，并且按照预先编写好的过滤规则来过滤数据，
基于Elastic Stack的日志分析系统
yang灬仔
05-16 921
Elastic Stack简介 Elastic Stack是Elastic公司旗下的一系列软件总称，包括Elasticsearch、Logstash、Kibana和Beats。Elasticsearch是一个分布式搜索引擎，负责数据的存储、查询，支持高并发的写入与查询；Logstash是动态数据收集管道，可以进行数据的清洗、格式化等处理；Kibana是基于Elasticsearch的数据可视化平...
ELK架构设计介绍（转：https://www.cnblogs.com/aresxin/p/8035137.html）
涂作权的博客
06-01 4617
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，不同的服务模...
日志统计
Axelrod的博客
02-22 199
日志统计 小明维护着一个程序员论坛。现在他收集了一份”点赞”日志，日志共有 N 行。 其中每一行的格式是： ts id 表示在 ts 时刻编号 id 的帖子收到一个”赞”。 现在小明想统计有哪些帖子曾经是”热帖”。 如果一个帖子曾在任意一个长度为 D 的时间段内收到不少于 K 个赞，小明就认为这个帖子曾是”热帖”。 具体来说，如果存在某个时刻 T 满足该帖在 [T,T+D) 这段时间内(注意是左闭右开区间)收到不少于 K 个赞，该帖就曾是”热帖”。 给定日志，请你帮助小明统计出所有曾是”热帖”的帖子编号。
ELK Stack实战视频教程：打造亿级日志分析平台
ELK Stack日志系统是企业级日志管理的解决方案之一，包含了Elasticsearch、Logstash、Kibana三个核心组件，以及后来添加的Filebeat工具。该系统能够高效地处理大规模日志数据，适用于企业级的监控和分析需求。 ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

犬豪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值