基于ELK打造强大的日志收集分析系统（springboot2+logback+logstash+elasticsearch+kibana）

最新推荐文章于 2024-09-19 17:51:37 发布
最新推荐文章于 2024-09-19 17:51:37 发布
阅读量7.3k 收藏 41
点赞数 3
分类专栏： ElasticStack Spring SpringBoot2启示录 文章标签： springboot logback logstash springboot logstash elasticsearch kibana logstash optput elasticsearch ELK日志收集分析系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/moshowgame/article/details/98851656
版权

前言

上一代的日志分析系统springboot+log4j+flume+kafka仿佛还是昨天，现在已经流行起了新一代的springboot2+logback+logstash+elasticsearch的日志分析系统，借助es强大的生态圈以及全文搜索能力，实现日志收集/分析/检索不再是难事。

日志收集分为两种情况：

  • （本文）logback直接输出到logstash，通过Tcp/Socket等传输（网络开销），当量太大时Logstash会做一个缓存队列处理，减少了filebeat去读取抓取日志的步骤。
  • logback输出日志到日志文件，filebeat实时抓取日志文件（性能开销），再传输到logstash。

第二种情况的旧版flume方案就存在很大的缺点：在日志的产生端LogServer服务器重，部署FlumeAgent，然后实时监控产生的日志，再发送至Kafka。每一个FlumeAgent都占用了较大的系统资源，有时候LogServer性能开销大，CPU资源尤其紧张，所以实时收集分析日志，就必须交给一个更轻量级、占用资源更少的日志收集框架，例如filebeat。

什么是ELK?

在这里插入图片描述
从功能上看，ElasticSearch负责数据的存储和检索，Kibana提供图形界面便于管理，Logstash是个日志中转站负责给ElasticSearch输出信息。

在这里插入图片描述
从流程上看，Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。

Logstash部分

下载&安装logstash

  1. logstash可以从以下地址下载，logstash和elasticsearch的版本要匹配，因为我们用的es是6.8.1，所以这里用了6.8.1的logstash，如果你是7.3.0则用7.3.0对应起来即可。
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.8.1.tar.gz
  1. 这个包无论是windows或者linux都可用，解压即用
  2. （Linux下）cd到logstash目录下的bin目录,输入 sh ./logstash -e 'input { stdin { } } output { stdout {} }' ，输入任意命令测试是否成功，这是标准手动输入输出模式。

配置logstash

  1. 进入bin目录，copy一份logstash-sample.conf文件并重命名为到logstash.conf（或者直接新建一个logstash.conf文件），修改为以下内容（先注释掉elasticsearch部分,查看控制台是否输出,判断logback->logstash是否生效！！！）：
# Logback -> Logstash -> Elasticsearch pipeline.
# by zhengkai.blog.csdn.net
input {
  tcp {
  
    host => "127.0.0.1"
    port => 9250
    mode => "server"
    tags => ["tags"]
    codec => json_lines
    }
}

output {
  #控制台直接输出
  stdout{
    codec => rubydebug
  }
  #可以注释掉elasticsearch部分,查看控制台是否输出,判断logback->logstash是否生效,@zhengkai.blog.csdn.net
   elasticsearch {
     hosts => ["127.0.0.1:9200"]
     action => "index"
     index => "mylog"
   }

}
  1. 修改pipelines.yml文件
 - pipeline.id: test
   pipeline.workers: 1
   pipeline.batch.size: 1
   #config.string: "input { stdin { } } output { stdout {} }"
   path.config: "/SWDTOOLS/logstash-6.8.1/config/logstash.conf"
  1. 运行logstash.bat（windows） ，logstash.sh（linux）

补充一点，output配置中的ElasticSearch部分是通过logstash-output-elasticsearch插件的方式实现的，链接是官方插件手册，可供查询详细配置 https://www.elastic.co/guide/en/logstash/6.8/plugins-outputs-elasticsearch.html

ElasticSearch部分

ElasticSearch下载和运行

ElasticSearch

关于es部分，可以之前的文章pringBoot2整合ElasticSearch(包含ElasticSearch入门+spring-boot-starter-data-elasticsearch)

  1. 下载 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.1.zip，当然如果太慢可以自己换aria2下载，（另外，如果从官网https://www.elastic.co/cn/downloads/elasticsearch下载Elasticsearch，下载到的版本太新，7.X可能存在兼容性问题，最好Logstash和ElasticSearch一样都是6.8.1版本）
  2. 进入/bin目录，chmod +x elasticsearch 进行授权
  3. 无需额外配置，可以以默认配置运行
  4. 运行./elasticsearch -d即可(Ubuntu直接运行 sh elasticsearch 会报错，在Windows下运行 elasticsearch.bat 则没问题)
moshow@moshow-ThinkCentre-M900:~/Development/Environment/elasticsearch-6.8.1/bin$ sh elasticsearch
elasticsearch: 17: elasticsearch: source: not found
elasticsearch: 1: elasticsearch: : Permission denied
elasticsearch: 21: elasticsearch: Bad substitution
  1. 打开http://localhost:9200/验证是否成功
{
  "name" : "bOUWfou",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "l0CZWkdcTdCo6pZFO_jU4A",
  "version" : {
    "number" : "6.8.1",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "1fad4e1",
    "build_date" : "2019-06-18T13:16:52.517138Z",
    "build_snapshot" : false,
    "lucene_version" : "7.7.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

SpringBoot&Logback部分

Maven依赖

<!-- https://mvnrepository.com/artifact/net.logstash.logback/logstash-logback-encoder -->
<dependency>
	<groupId>net.logstash.logback</groupId>
	<artifactId>logstash-logback-encoder</artifactId>
	<version>5.3</version>
</dependency>

Logback TCP Appenders配置

在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <include resource="org/springframework/boot/logging/logback/base.xml" />

    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>127.0.0.1:9250</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>

    <root level="INFO">
        <appender-ref ref="LOGSTASH" />
        <appender-ref ref="CONSOLE" />
    </root>

</configuration>

Controller

  • （Suggest）使用lombok的@Slf4j注解，可以直接log.info()/log.error()调用slf4j进行输出
  • （不建议）或者使用原生private final Logger log = LoggerFactory.getLogger(getClass());
import cn.hutool.core.date.DateUtil;
import lombok.extern.slf4j.Slf4j;
import org.springframework.http.ResponseEntity;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;


@RestController
@Slf4j
public class DemoController {

    @GetMapping
    public Object index(){
        String msg="Oh My God ,System Error when "+ DateUtil.now();
        log.error(msg);
        return ResponseEntity.ok(msg);
    }
}
  • 查看Logstash控制台输出情况
    在这里插入图片描述

LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError问题

  • es无法连接情况，多数是es不可用或者有代理之类的情况：
    在这里插入图片描述

Kibana部分

下载&安装

  1. wget或者aria2c下载6.8.1版的Kibana
    wget https://artifacts.elastic.co/downloads/kibana/kibana-6.8.1-linux-x86_64.tar.gz

  2. 解压文件 tar -xzf kibana-6.8.1-linux-x86_64.tar.gz

  3. 进入kibana的bin目录，运直接./bin/kibana
    在这里插入图片描述

  4. 访问 http://localhost:5601/app/kibana
    在这里插入图片描述

  5. 建立一个新IndexPatten，Filter选择时间戳即可在这里插入图片描述在这里插入图片描述

  6. 查看已经建立的index patten，Time Filter by Timestamp，时间过滤器按照指定的时间段展示搜索结果。设置了 index contains time-based events 和 time-field 的索引模式可以使用时间过滤器。

在这里插入图片描述
Index Patten索引模式

要使用Kibana，就需要通过配置一个或多个索引模式来告诉它您想探索的 Elasticsearch 索引（相当于创建es连接）。创建连接之后可以：

  • 在Discover中以交互方式探索您的数据。
  • 在Visualize中以图表，表格，仪表，标签云等形式显示数据。
  • 在Canvas演示文稿中展示您的数据。
  • 如果您的数据包含地理数据，请使用地图Maps将其可视化。

另外，

  • 如果您的索引中含有一个时间戳字段，并且您想将这个字段用于执行基于时间比较的操作，请选择 索引含有带时间戳的事件 选项，Kibana 会读取索引映射并列出包含时间戳的所有字段，从中选择您需要的字段即可（例如@TimeStamp）。
  • 默认情况下，Kibana 会限制基于时间的索引模式的通配符扩展，（因为这意义不大，且浪费时间，尽量用正常的比较操作）符，范围为当前选定时间内的索引数据。点击“当搜索时不要展开索引模式”选项来禁用此行为（即不走时间索引）。

Discover数据探索模块

数据探索（Discover）页面负责交互式地探索es数据：

  • 可以访问与选定索引模式匹配的每个索引中的每个文档。
  • 可以提交搜索请求、过滤搜索结果、查看文档数据。
  • 还可以看到与搜索查询匹配的文档数，并获取字段值的统计信息。
  • 如果索引模式中配置了时间字段，您还可以在这个页面的顶部看到基于时间分布的文档数量柱状图。

在这里插入图片描述
Timelion时序控件

时序控件（Timelion）是一款时间序列数据可视化工具，它可以将多种独立的数据源合并呈现到一张视图上。它是由一个简单的表达式语言驱动的，用来检索时间序列数据，执行计算得出复杂问题的答案，并可视化结果。
Timelion 可以让您轻松获得如下问题的答案：

  • 过去某段时间页面的 UV 量是多少？
  • 本周五和上周五的流量有多少差异？
  • 本站今天来自日本的访客占多少百分比？
  • 标普500指数过去10天的移动平均值是多少？
  • 过去两年所有的搜索请求总量有多少？

更多详情可以访问官方使用手册 https://www.elastic.co/guide/cn/kibana/current/timelion-create.html

.es(index=metricbeat-*, timefield='@timestamp', metric='avg:system.cpu.user.pct')

在这里插入图片描述

效果演示

  1. 打开 http://localhost:9999/logstash/ ，看到 Oh My God ,System Error when 2019-08-10 18:35:00 的返回信息。
    在这里插入图片描述
  2. 查看Logstash控制台，发现stdout输出以及没有es报错提示。
    在这里插入图片描述
  3. 用插件elasticsearch-head查看ElasticSearch，默认连接地址localhost:9200，看到日志传输成功
    在这里插入图片描述
  4. 进入Kibana的Discover模块进行搜索 http://localhost:5601/app/kibana#/discover
    在这里插入图片描述

后言

关于探索Kibana更多功能可以查看官方的中文手册 https://www.elastic.co/guide/cn/kibana/current/index.html

Moshow郑锴
关注
专栏目录
ELK日志收集分析系统
zsw07的博客
03-27 556
ELK是Elasticsearch、Logstash、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。 基本组成软件： 1、Filebeat：监控日志文件，获取服务器上指定路径的日志文件，并将这些日志转发到Logstash实例以进行处理。Filebeat的设计是为了可靠性和低延迟。Filebeat在主机上占用的资源很少，而...
springboot 整合 elk （Elasticsearch+Logstash+Kibana）
weixin_42404521的博客
07-09 898
Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。 Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志 Logstash 收集日志 Elasticsea
SpringBoot使用ELK日志收集
weixin_33910137的博客
03-01 422
本文介绍SpringBoot应用配合ELK进行日志收集。 1.有关ELK 1.1 简介 在之前写过一篇文章介绍ELK日志收集方案，感兴趣的可以去看一看，点击这里-----&gt; 《ELK日志分析方案》。 这里在对ELK做一下简述，ELK是有Elastic公司的三个组件配合进行日志收集，分别是： ElasticSearch:用于存储日志信息。 Logstash:用于收集、处理和转发日志信息。...
ELK日志分析系统
最新发布
A6985HG的博客
09-19 929
①、FilebeatFilebeat：轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进或是直接发给Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。常应用于 EFLK 架构当中。通过 Logstash 具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻 Elasticsearch 持续写入数据的压力。
ELK之日志查询、收集与分析系统
weixin_34376986的博客
03-26 174
    项目由来 　　（1）开发人员不能登录线上服务器查看详细日志，经过运维周转费时费力　　（2）日志数据分散在多个系统，难以查找与整合　　（3）日志数据量巨大，查询速度太慢，无法满足需求　　（4）无法全局掌控项目运行状况　　（5）日志数据查询不够实时　　（6）数据分析人员不会写代码，无法分析统计数据　　（7）.........     框架里包含的组件 　　Logstash+Ela...
基于elk 实现nginx日志收集与数据分析。
weixin_30416497的博客
05-14 299
一。背景 前端web服务器为nginx，采用filebeat + logstash + elasticsearch + granfa 进行数据采集与展示，对客户端ip进行地域统计，监控服务器响应时间等。 二。业务整体架构： nginx日志落地——》filebear——》logstash——》elasticsearch——》grafna（展示） 三。先上个效果图...
log_pipe日志收集分析系统介绍
weixin_34413103的博客
12-13 136
一、简要介绍 　　log_pipe是一个高性能的日志收集分析系统，从13年11月第一版上线以来，已经在阿里内部有了广泛的使用，目前在日志最为繁忙的CDN节点内部已经部署超过20个节点，用于对CDN的访问日志以及其他日志做接收和实时分析。它能够接收从各个服务器发过来的日志，并且支持对日志做实时分析和内存压缩，然后按照配置存放到磁盘的不同路径下。 　　在我设计和开发log_pipe之前，面临着各种...
StirngBoot+ELK+Kafka记录日志，超详细搭建过程！
01-20
该系统通过整合SpringBoot应用的日志记录、Kafka的消息中间件、ELK(Elasticsearch、Logstash、Kibana)组件，实现了日志的实时流处理和可视化分析。 1. **可视化展示日志**：Kibana作为ELK堆栈的一部分，提供了一个...
springboot + logback + filebeat + elk 实现分布式日志中心
iMChenJiaMing的博客
05-01 4256
前言：本文主要介绍docker搭建elk分布式日志平台，利用filebeat监听logback日志文件，传输到elk中，最终在kibana渲染展示。 主要思路：filebeat监听日志文件的变化，传输到logstash，logstash通过分析提取，将日志信息推送到elasticsearch指定索引中，最终kibana从elasticsearch索引中查询并展示日志信息。 一、docker搭建elk日志平台（v7.6.1） 1.1、准备镜像 docker pull docker.elastic.
springboot - 2.7.3版本 - （五）整合Elasticsearch+Logstash+Kibana（ELK）
09-28
在本文中，我们将深入探讨如何使用Spring Boot 2.7.3版本与Elasticsearch、Logstash和Kibana（通常称为ELK Stack）进行集成，以便高效地收集、存储和分析应用程序日志。ELK Stack是日志管理和监控的强大工具，其中...
搭建ELK分布式日志解决方案 + Springboot + logback 输出日志到 ELK
weixin_43276938的博客
05-12 1721
介绍 ELK是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。 Elasticsearch 是一个搜索和分析引擎。 Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等“存储库”中。 Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。 克隆一台虚拟机 从之前装好jdk的centos虚拟机快照克隆一台专门搭建elk环境
用Kibana和logstash快速搭建实时日志查询、收集与分析系统
02-25
Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索），您可以使用它。说到搜索，logstash带有一个web界面，搜索和展示所有日志。kibana也是一个开源和免费的工具，他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面。他可以为Logstash和ElasticSearch提供的日志分析的Web界面说到这里，我们看看kibana和logstash到底能为我们做些什么呢？下面是kibana的界面简单来讲他具体的工作流程就是logstashagent监控并过滤日志，将过滤后的日志内容发给redis(这里的redis只处理队列不做存储)
数通网络实践之日志收集与分析
02-27
收集日志不仅可以用于故障定位，也可以用来检查网络设备的运行状况和定期巡检。收集日志、分析日志，是网络专业技术人员的必备基础技能。 本文档适用于华为和华三设备，他们提供了一个打印诊断信息的命 令，这个命令相当于批处理程序，它把多个display命令都封装在一个 命令中执行，省去了工程师逐个display的麻烦。这也是唯一一个无论如何都不可以忘记的命令，当你无能为力的时候这个命令可以为远程协助你的人提供重要的定位信息。
SysLog - 轻量级的日志收集与分析系统
gitblog_00012的博客
03-17 688
SysLog - 轻量级的日志收集与分析系统 SysLogA tool to grab Android system and kernel logs项目地址:https://gitcode.com/gh_mirrors/sy/SysLog 是一个轻量级的日志收集与分析系统，可以帮助开发者快速地收集、存储、查询和分析应用程序产生的日志数据。 什么是 SysLog？ SysLog 是一种广泛应用于网...
ELK日志收集与搜索分析系统
qinjiamao1的博客
06-19 693
什么是ELK 通俗来讲,ELK是由 Elasticsearch、Logstash、Kibana三个开源软件组成的一个组合体,ELK是elastic公司研发的一套完整的日志收集、分析和展示的企业级解决 方案,在这三个软件当中,每个软件用于完成不同的功能,ELK又称ELK stack,官方域名为:elastic.co,ELK stack的主要优点有如下几个: 1、处理方式灵活： elasticsearch 是实时全文索引，具有强大的搜索功能 2、配置相对简单：elasticsearch 的 API 全部使用 J
ELK 日志收集系统方案
qq_38130094的博客
03-31 1955
背景 在项目初期的时候，大家都是赶着上线，一般来说对日志没有过多的考虑，当然日志量也不大，所以用log4j就够了，随着应用的越来越多，日志散落在各个服务器的logs文件夹下，确实有点不大方便。或者是分布式系统：当我们需要日志分析的时候你大概会这么做：直接在日志文件中 grep、awk就可以获得自己想要的信息。这就造成了日志查询极其繁琐；如果日志中有敏感数据，也要考虑是否开放给所有人 可能遇到的问题： 日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询 应用太多，面临数十上百台应用时你该怎么办，随意登录
ELK日志收集
u010864567的博客
04-16 5305
搭建ELK ELK是由elasticsearch、logstash、kibana三个开源软件组成的一个组合体，ELK是elastic公司公司研发的一套完整的日志收集、分析和展示的企业级解决方案，在这三个软件当中，每个软件用于完成不同的功能，官方域名为elastic.io，ELK stack的主要优点： 处理方式灵活：elasticsearch是实时全文索引，具有强大的搜索功能 配置相当简单：elasticsearch的API全部使用JSON接口，logstash使用模块配置，kibana的配置文件部分
企业级日志分析系统 ELK 详解
shenyuanhaojie的博客
11-19 2192
文章目录前言一、ELK 日志分析系统1. ELK 简介2. 组件说明2.1 ElasticSearch2.2 Logstash2.3 Kibana2.4 Filebeat3. 完整日志系统的基本特征4. ELK的工作原理二、部署 ELK 日志分析系统1. 服务器配置2. 关闭防火墙3. ElasticSearch集群部署（node1、node2）3.1 环境准备3.2 部署 ElasticSearch 软件3.2.1 安装 elasticsearch-rpm 包3.2.2 加载系统服务3.2.3 修改 el
操作系统日志收集与分析
weixin_55821558的博客
07-02 8346
在运维工作中，如若windows服务器被入侵，往往需要检索和分析相应的安全日志。除了安全设备，系统自带的日志就是取证的关键材料，但是此类日志数量庞大，需要高效分析windows安全日志，提取出我们想要的有用信息，就显得尤为关键。windows日志记录着windows系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件，掌握计算机在特定时间的状态，以及了解用户的各种操作行为，为应急响应提供很多关键的信息。windows主要有以下三类日志记录系统事件：应用程序日志、系统日志和安全日志。包含由应用程序
SpringBoot日志采集：Filebeat+Logstash+ES+kibana实战
ELK栈，即Elasticsearch、Logstash、Kibana的组合，是一个广泛用于实时日志收集、处理和可视化的工具套件。本教程主要涉及如何利用ELK栈来采集SpringBoot应用的日志数据。 一、日志采集 1.1 SpringBoot日志配置 ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值