Logstash原理介绍及应用

已于 2023-11-02 16:40:39 修改
阅读量2.4w 收藏 110
点赞数 13
分类专栏： # ELK 文章标签： java
于 2021-01-29 17:06:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huxiang19851114/article/details/113397796
版权

目录

 

1、Logstash安装

2、Logstash原理

2.1 输入、过滤器和输出

2.2 采集各种样式、大小和来源的数据

2.3 实时解析和转换数据

2.4 导出数据

3、 LogStash入门使用

3.1 Input插件

4、Logstash高级使用

4.1 jdbc插件

4.2 syslog插件

4.3 filter插件

4.4 Output插件

logstash是一种分布式日志收集框架，开发语言是JRuby，当然是为了与Java平台对接，不过与Ruby语法兼容良好，非常简洁强大，经常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，非常适合用来做日志数据的分析。

当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，Redis，Kakfa，HDFS, Lucene，Solr等，并不一定是ElasticSearch。

1、Logstash安装

Logstash安装非常简单，下载解压即可！（JRuby语言开发，需要先安装JDK）

cd /usr/local
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.8.0.zip
unzip logstash-7.8.0.zip
​
#测试
cd /logstash-7.8.0/bin
./logstash -e 'input { stdin { } } output { stdout {} }'

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1eGlhbmcxOTg1MTExNA==,size_16,color_FFFFFF,t_70

2、Logstash原理

2.1 输入、过滤器和输出

Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构，从 IP 地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。

2.2 采集各种样式、大小和来源的数据

数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择，可以同时从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据

2.3 实时解析和转换数据

数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便进行更强大的分析和实现商业价值。

Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：

  • 利用 Grok 从非结构化数据中派生出结构

  • 从 IP 地址破译出地理坐标

  • 将 PII 数据匿名化，完全排除敏感字段

  • 简化整体处理，不受数据源、格式或架构的影响

  • 使用我们丰富的过滤器库和功能多样的 Elastic Common Schema，您可以实现无限丰富的可能。

2.4 导出数据

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

总结：logstash就是一个具备实时数据传输能力的*管道*，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以根据需求在中间加上滤网；是一个input | filter | output 的数据流

3、 LogStash入门使用

3.1 Input插件

3.1.1 stdin标准输入和stdout标准输出

cd logstash-7.8.0/
bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}' #使用input插件的stdin/stdout输入输出流的形式启动

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1eGlhbmcxOTg1MTExNA==,size_16,color_FFFFFF,t_70

3.1.2 监控日志文件变化

Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob 展开文件路径，而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。

3.1.2.1 编写脚本

cd logstash-7.8.0/config/
vim monitor_file.conf  #编辑一个检测脚本文件，输入以下配置
------------------------------------------------------------------
input{
        file{
                path => "/usr/local/logstash-7.8.0/config/test.log" #随便找一个文本路径，也可以使用“*”进行模糊匹配
                type => "log" #收集日志类型
                start_position => "beginning" #从文本起始位置开始收集
        }
}
output{
        stdout{
                codec=>rubydebug #解析转换类型：ruby
        }
}
​

3.1.2.2 启动服务

#启动服务
cd logstash-7.8.0/
bin/logstash -f config/monitor_file.conf -t #-t检测脚本是否正确,启动时不要带-t，因为需要查看日志采集情况

20210129170223852.png

logstash 监测脚本必须严格的使用tab缩进，否则会有如下报错：

20210129170234122.png

 

3.1.2.3 测试

另起一个窗口，向test.log文件中追加内容，观察控制台变化。

echo "hello logstash world" >> /usr/local/logstash-7.8.0/config/test.log

logstash会将文本类容采集，解析和转换输出

20210129170304490.png

PS：一些配置解释

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1eGlhbmcxOTg1MTExNA==,size_16,color_FFFFFF,t_70

path=>表示监控的文件路径 ​ type=>给类型打标记，用来区分不同的文件类型，跟采集的文件类型无关。 ​ start_position=>从哪里开始记录文件，默认是从结尾开始标记，要是你从头导入一个文件就把改成”beginning”. ​ discover_interval=>多久去监听path下是否有文件，默认是15s ​ exclude=>排除什么文件 ​ close_older=>一个已经监听中的文件，如果超过这个值的时间内没有更新内容，就关闭监听它的文件句柄。默认是3600秒，即一个小时。 ​ sincedb_path=>监控库存放位置(默认的读取文件信息记录在哪个文件中)。默认：/dev/null；这个 Linux 系统上特殊的空洞文件，那么 logstash 每次重启进程的时候，尝试读取 sincedb 内容，都只会读到空白内容，也就会理解成之前没有过运行记录，自然就从初始位置开始读取了！ ​ sincedb_write_interval=> logstash 每隔多久写一次 sincedb 文件，默认是 15 秒。 ​ stat_interval=>logstash 每隔多久检查一次被监听文件状态（是否有更新），默认是 1 秒。

4、Logstash高级使用

学习官网：https://www.elastic.co/cn/

4.1 jdbc插件

4.1.1编写脚本

cd logstash-7.8.0/config/
vim jdbc.conf  #编辑一个检测脚本文件，输入以下配置
------------------------------------------------------------------
input{
        jdbc{
                jdbc_driver_library => "/usr/local/logstash-7.8.0/config/mysql-connector-java-8.0.16.jar"
                jdbc_driver_class => "com.mysql.jdbc.Driver"
                jdbc_connection_string => "jdbc:mysql://192.168.223.128/test"
                jdbc_user => "root"
                jdbc_password => "root"
                use_column_value => true
                tracking_column => id #追踪字段
                schedule => "* * * * *" #最小采集频率，logstash不支持秒级更新，最小时间单位是1分钟
                jdbc_paging_enabled => "true"
                jdbc_page_size => "50000"
                statement => "SELECT * from tb_user where id > :sql_last_value" #最新数据，可以通过删除 ./root/.logstash_jdbc_last_run 文件重新定位，查询位置命令：find /root -name *.logstash_jdbc_last_run
        }
}
output{
        stdout{
                codec=>rubydebug
        }
}
​

4.1.2测试

#启动服务
cd logstash-7.8.0/
bin/logstash -f config/jdbc.conf

在test数据库tb_user表中添加数据，可以看到控制台打印如下：20210129170328298.png

4.2 syslog插件

syslog机制负责记录内核和应用程序产生的日志信息，管理员可以通过查看日志记录，来掌握系统状况。默认系统已经安装了rsyslog直接启动即可。

4.2.1 编写脚本

cd logstash-7.8.0/config/
vim syslog.conf  #编辑一个检测脚本文件，输入以下配置
------------------------------------------------------------------
input{
        syslog{
                type => "system-syslog"
                port => 514
        }
}
output{
        stdout{
                codec=> rubydebug
        }
}
​
​

4.2.2 测试

#启动服务
cd logstash-7.8.0/
bin/logstash -f config/syslog.conf

发送数据,新起一个窗口

#修改系统日志配置文件
vim /etc/rsyslog.conf
#添加一行以下配置
*.* @@192.168.223.128:514
#重启系统日志服务使之生效
systemctl restart rsyslog

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1eGlhbmcxOTg1MTExNA==,size_16,color_FFFFFF,t_70

4.3 filter插件

Logstash之所以强悍的主要原因是filter插件；通过过滤器的各种组合可以得到我们想要的结构化数据。

4.3.1 grok插件

4.3.1.1 grok语法

grok正则表达式是logstash非常重要的一个环节；可以通过grok非常方便的将数据拆分和索引。

grok插件：能匹配一切数据，但是性能和对资源的损耗也很大，但是对于时间来说非常便利

语法格式：%{语法：语义}

默认grok调用的是：/logstash-7.8.0/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns 这个目录下的正则，当然，你也可以定义自己的正则表达式！watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1eGlhbmcxOTg1MTExNA==,size_16,color_FFFFFF,t_70

4.3.1.2 收集控制台输入数据，采集IPV4

cd logstash-7.8.0/config/
vim filter-grok.conf  #编辑一个检测脚本文件，输入以下配置
------------------------------------------------------------------
input {stdin{}}
​
filter{
        grok{
                match => {"message" => "%{IPV4:ip}"}
        }
}
​
output{
        stdout{
                codec => rubydebug
        }
}
​
​

测试：

#启动服务
cd logstash-7.8.0/
bin/logstash -f config/filter-grok.conf

控制台输入文字：我们的事业，在希望的田野上,可以看到产生了一个tags索引：[0]

20210129170424924.png

没看到是报错吗？为什么？因为不匹配呗！

我们再次输入：hello logstash 192.168.223.128 是我的服务器，匹配成功!

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1eGlhbmcxOTg1MTExNA==,size_16,color_FFFFFF,t_70

4.3.1.3 grok收集服务请求日志数据

cd logstash-7.8.0/config/
vim monitor-server.conf  #编辑一个检测脚本文件，输入以下配置
------------------------------------------------------------------
input {stdin{}}
​
filter{
        grok{
                match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"}
        }
}
output{
        stdout{
                codec => rubydebug
        }
}
​

测试：

#启动服务
cd logstash-7.8.0/
bin/logstash -f config/monitor-server.conf

从控制台输入server日志文件数据

测试输入数据：127.0.0.1 GET /index.html 5000 0.2

20210129170437905.png

4.3.2 Date插件

4.3.2.1 采集配置

从字段解析日期以用作事件的LogStash时间戳，以下配置解析名为logdate的字段以设置Logstash时间戳，获取的是日志时间，而不是相对系统时间:@timestamp

cd logstash-7.3.0/config/
vim filter-date.conf  #编辑一个检测脚本文件，输入以下配置
------------------------------------------------------------------
input {stdin{}}
​
filter{
        grok{
                match => {"message" => "%{HTTPDATE:timestamp}"}
        }
        date{
                match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"] #时区偏移量需要用一个字母Z来转换
        }
}
​
output{
        stdout{
                codec => rubydebug
        }
}
​
​

4.3.2.2 匹配字段格式化

你好啊，今天 日期是[03/Sep/2020:17:52:19 +0800]，我们一起去玩吧

2021012917044848.png

4.3.3 geoip地址查询插件

4.3.3.1 采集配置

geoip是常见的免费的IP地址归类查询库，geoip可以根据IP地址提供对应的地域信息，包括国别，省市，经纬度等等，此插件对于可视化地图和区域统计非常有用。

cd logstash-7.3.0/config/
vim filter-geoip.conf  #编辑一个检测脚本文件，输入以下配置
------------------------------------------------------------------
input {stdin{}}
​
filter{
        grok {
                match => {
                        "message" => "%{IP:ip}"
                }
                remove_field => ["message"] #移除默认显示的message字段
        }
        geoip {
                source => "ip"
        }
}
​
output{
        stdout{
                codec => rubydebug
        }
}
​

4.3.3.2 测试

#启动服务
cd logstash-7.8.0/
bin/logstash -f config/filter-geoip.conf

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1eGlhbmcxOTg1MTExNA==,size_16,color_FFFFFF,t_70

4.3.4 mutate插件

mutate插件是logstash另一个非常重要的插件，它提供了丰富的基础类型数据处理能力，包括重命名、删除、替换、修改日志事件中的字段。我们这里使用一个常用的mutate插件：正则表达式替换字段功能gsub

PS:gsub可以通过正则表达式替换字段中匹配到的值，只对字符串字段有效。

4.3.4.1 采集配置

cd logstash-7.3.0/config/
vim filter-mutate.conf  #编辑一个检测脚本文件，输入以下配置
------------------------------------------------------------------
input {stdin{}}

filter{
        grok{
                match => {"message" => "%{QS:referrer}"}
                remove_field => ["message"]
        }
        mutate{
                gsub => ["referrer","/","-"]
        }
}

output{
        stdout{
                codec => rubydebug
        }
}

4.3.4.2 测试

#启动服务
cd logstash-7.8.0/
bin/logstash -f config/filter-mutate.conf

20210129170515288.png

4.4 Output插件

刚刚上面演示的全部都是标准的控制台输出，其实logstash还有很多更高级的应用输出

4.4.1 采集数据保存到file文件中

cd logstash-7.3.0/config/
vim output_file.conf  #编辑一个检测脚本文件，输入以下配置
------------------------------------------------------------------
input {stdin{}}
output{
        file{
                path => "/usr/local/logstash-7.8.0/config/datas/%{+YYYY-MM-dd}-%{host}.txt"
                codec => line {
                        format => "%{message}"
                }
                flush_interval => 0
        }
}

测试：

#启动服务
cd logstash-7.8.0/
bin/logstash -f config/output_file.conf

控制台输入一些字符串：

20210129170524460.png

查看输出的文件内容：

20210129170532563.png

 

4.4.2 采集数据保存到elasticsearch

cd logstash-7.8.0/config/
vim output_es.conf  #编辑一个检测脚本文件，输入以下配置
------------------------------------------------------------------
input {stdin{}}
output {
    elasticsearch {
        hosts => ["ydt1:9200"]
        index => "logstash-%{+YYYY.MM.dd}"
    }
}

测试：

#启动服务
cd logstash-7.8.0/
bin/logstash -f config/output_es.conf

控制台输入一些数据，然后通过elasticsearch-head查看是否保存成功：

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1eGlhbmcxOTg1MTExNA==,size_16,color_FFFFFF,t_70

 

 

 

八五年的湘哥
关注
专栏目录
logstash+elasticsearch+kibana搭建日志收集分析系统
上善若水，水善利万物而不争。
03-09 1万+
日志监控和分析在保障业务稳定运行时，起到了很重要的作用，不过一般情况下日志都分散在各个生产服务器，且开发人员无法登陆生产服务器，这时候就需要一个集中式的日志收集装置，对日志中的关键字进行监控，触发异常时进行报警，并且开发人员能够查看相关日志。logstash+elasticsearch+kibana3就是实现这样功能的一套系统，并且功能更强大。logstash：是一个管理日志和事件的工具，你可以收
Logstash-数据收集、解析和转存
wolfcode_cn的博客
09-03 3433
本文作者：罗海鹏，叩丁狼高级讲师。原创文章，转载请注明出处。 前言 最近这几年，大数据一直都是很热门的话题，很多人会顾名思义的觉得，大数据就是你现在手上有大量的数据。从某个层面上来看，这确实是这样的，但是所谓的大数据不仅仅只是有一堆的数据在这，更重要的是我们要如何解析这堆数据，让它变成有意义或者说有参考价值的数据。而我们知道，在我们应用运行的过程中会产生大量的日志文件，做开发的人都知道，这...
logstash详解
最新发布
qq_44027353的博客
08-16 2036
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的存储库中。通过Logstash过滤器解析各个事件，识别已命名的字段来构建结构，并将它们转换成通用格式，最终将数据从源端传输到存储库中。机器宕机，数据也不会丢失;
LogStash 简介
Fisher3652的博客
03-13 1万+
目录1. 概述2. 体系结构2.1 插件2.2 事件2.2.1 访问事件属性2.2.2 事件 API2.3 队列2.3.1 持久化队列2.3.2 死信队列3. 管道配置3.1 主管道配置3.2 单管道配置3.3 多管道配置4. 编解码器插件4.1 plain 插件4.2 line 编解码器4.3 json 编解码器4.4 序列化编解码器5. 输入输出插件5.1 stdin 输入插件和 stdout 插件5.2 elasticsearch 插件5.3 文件插件5.3.1 事件属性5.3.2 读取模式5.3.3
logstash日志分析的配置和使用
weixin_33840661的博客
02-01 684
logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。 首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索引，kibana提供前端的...
logstash快速入门
wp500的专栏
11-13 4万+
简介 Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。怎么样听起来挺厉害的吧？ 在一个典型的使用场景下(ELK)：用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色，它为数据存储，报表查询和日志解析创建了一个功能强大的管道
Logstash 讲解与实战应用
weixin_34387284的博客
08-20 283
一、Logstash 介绍Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。官网地址:https://www.elastic.co/products/logstash 工作流程Logstash 工作的三个阶段：input 数据输入端，可以接收来自任何地方的源数据。file：从文件中读取syslog：监听在514端口的系统日志信...
logstash原理和使用
iteye_9939的博客
05-29 1402
1、概述 1.1 logstash简介 logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索引，kibana提供前端的页面再进行搜索和图表可视化，它是调用Elasticsearch的接口返回的数据进行可视化。logstas
logstash-工作原理
大帅的博客
08-27 1437
logstash事件处理管道有三个阶段：输入、输出、过滤
LogStash~LogStash的工作原理
feizuiku0116的博客
04-20 425
LogStash事件处理管道具有三个阶段：input->filter->output。input生成事件，filter修改它们，output将它们发送到其他地方。input和output支持编解码器，能够在数据进入或退出管道时对其进行编码或解码，而无需使用单独的过滤器 1.input input插件的官方文档 使用输入将数据输入LogStash，一些常用的输入包括： file：从文件系统上的文件中读取 syslog：在514端口上监听syslog消息并根据RFC3164格式进行解析 beats
Logstash和Kibana原理介绍及应用1
08-03
**Logstash 的核心原理**： 1. **输入(input)**：Logstash 提供了多种输入插件，用于从不同来源收集数据。这些来源可以是文件、网络端口、数据库、消息队列等。例如，`file` 插件可以监控日志文件的变化，`stdin` ...
Logstash原理与代码实例讲解
AI天才研究院
06-12 763
Logstash原理与代码实例讲解 1.背景介绍 在当今数据爆炸的时代,海量的数据被不断产生和传输。无论是来自服务器日志、网络数据流、安全监控还是物联网设备,这些数据都需要被高效收集、处理和存储,以便进行后续的分析和利用。然而,由于数据源的多样性和复杂性,单一系统难以胜任这一艰巨任务。这就
logstash简介及基本操作
热门推荐
yurun_house的博客
10-13 6万+
一：logstash概述： 简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。 logstash常用于日志系统中做日志采集设备，最常用于ELK中作为日志收集器使用 二：logstash作用： 集中、转换和存储你的数据，是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存
Logstash之二：原理
weixin_34259159的博客
03-09 158
一、Logstash 介绍 Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。   二、工作流程 Logstash 工作的三个阶段：   input 数据输入端，可以接收来自任何地方的源数据。 file：从文件中读取 syslog：监听在514端口的系统日志信息，并解析成RFC3164格...
Logstash 详细介绍、安装与使用
一个认真学习的女孩子的博客
03-14 9022
Logstash 是一个具有实时管道功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据规范化到您选择的目标中。为了多样化的高级下游分析和可视化用例，清理和使所有数据平等化。虽然 Logstash 最初在日志收集方面推动了创新，但它的能力远远超出了该用例。任何类型的事件都可以通过广泛的输入、过滤和输出插件进行增强和转换，许多本地编解码器进一步简化了摄入过程。Logstash 通过利用更多的数据量和种类加速您的洞察力。Logstash 到 Elastic Cloud 无服务器。
Logstash工作原理
jie310600的博客
09-07 746
[b]Logstash工作原理[/b] Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理， 然后传输到指定的位置，比如某个服务器或者文件。 [b]logstash包括了三个阶段:[/b] 输入input --> 处理filter（不是必须的） --> 输出output [b]配置文件说明[/b] 由三部分组...
Logstash概念与原理
JJBOOM425的博客
07-01 1496
Logstash概念 Logstash是一款开源的数据收集引擎，具备实时管道处理能力。简单来说，logstash作为数据源与数据存储分析工具之间的桥梁，结合ElasticSearch以及Kibana，能够极大方便数据的处理与分析。通过200多个插件，logstash可以接受几乎各种各样的数据。包括日志、网络请求、关系型数据库、传感器或物联网等等。 Logstash工作过程 如上图，Logstash的数据处理过程主要包括：Inputs,Filters,Outputs 三部分，另外在Inputs和Ou
logstash 原理（含部署）
weixin_44815878的博客
08-15 712
1、ES原理原理 使⽤filebeat来上传⽇志数据，logstash进⾏⽇志收集与处理，elasticsearch作为⽇志存储与搜索引擎，最后使⽤kibana展现⽇志的可视化输出。所以不难发现，⽇志解析主要还 是logstash做的事情从上图中可以看到，logstash主要包含三⼤模块：1、INPUTS: 收集所有数据源的⽇志数据（[源有file、redis、beats等，filebeat就是使⽤了beats源*）；
ELK日志分析系统的工作原理
02-28
ELK日志分析系统是由三个主要组件组成的：Elasticsearch、Logstash 和 Kibana。 1. Elasticsearch 是一个开源搜索引擎，它能够存储和查询大量的日志数据。 2. Logstash 是一个数据收集和处理工具，它能够从多个来源收集日志数据，并将其转换为 Elasticsearch 可以处理的格式。 3. Kibana 是一个可视化工具，它能够帮助用户使用图表和图形来分析和理解存储在 Elasticsearch 中的日志数据。 ELK 日志分析系统的工作流程如下： 1. 日志产生：应用程序或服务生成日志数据。 2. 日志收集：Logstash 从各种来源收集日志数据，包括文件、数据库、网络端口等。 3. 日志转换：Logstash 对日志数据进行过滤和转换，将其转换为 Elasticsearch 可以处理的格式。 4. 日志存储：Elasticsearch 将转换后的日志数据存储到其内部数据库中。 5. 日志查询：用户使用 Kibana 对存储在 Elasticsearch 中的日志数据进行查询和可视化分析。 6. 日志报告：Kibana 可以将分析结果以图表或图形的形式展示给用户，方便用户
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值