Logstash 介绍及基本使用

已于 2022-02-25 12:54:51 修改
阅读量2k 收藏 4
点赞数
分类专栏： ELK Stack 文章标签： elasticsearch
于 2021-06-29 20:14:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45858439/article/details/118342866
版权

Logstash 介绍及基本使用

文章目录

一.logstash架构介绍

1.什么是logstash？

Logstash是开源的数据处理管道，能够同时可以从多个源采集数据，转换数据，然后输出数据

在这里插入图片描述

2.Logstash架构介绍

logstash官方文档

Logstash的基础架构类型pipeline流水线，如下图所示：

input：数据采集（常用插件：stdin、file、kafka、beat、http、redis）

Filter：数据解析/转换（常用插件：grok、date、geoip、mutate、useragent）

Output：数据输出（常用插件：Elasticsearch）

在这里插入图片描述

3.实时解析和转换数据

数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便进行更强大的分析和实现商业价值。

Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：

  • 利用 Grok 从非结构化数据中派生出结构
  • 从 IP 地址破译出地理坐标
  • 将 PII 数据匿名化，完全排除敏感字段
  • 简化整体处理，不受数据源、格式或架构的影响

二、Logstash插件

2.1Logstash input插件

input插件用于指定输入源，一个pipeline可以有多个input插件，我们主要围绕以下几个input插件进行学习

stdin

file

beat

kafka

#1.安装Logstash（准备一台机器10.0.0.151）
[root@logstash-node1 ~]# yum install java -y
[root@logstash-node1 ~]# ls
logstash-7.4.0.rpm
[root@logstash-node1 ~]# rpm -ivh logstash-7.4.0.rpm 
[root@logstash-node1 ~]# ll /etc/logstash/
total 36
drwxrwxr-x 2 root root    6 Sep 27  2019 conf.d
-rw-r--r-- 1 root root 2019 Sep 27  2019 jvm.options
-rw-r--r-- 1 root root 5043 Sep 27  2019 log4j2.properties
-rw-r--r-- 1 root root  342 Sep 27  2019 logstash-sample.conf
-rw-r--r-- 1 root root 8236 Jun 27 10:17 logstash.yml
-rw-r--r-- 1 root root  285 Sep 27  2019 pipelines.yml
-rw------- 1 root root 1696 Sep 27  2019 startup.options

#修改jvm.options
[root@logstash-node1 ~]# vim /etc/logstash/jvm.options
-Xms512m
-Xmx512m

#案例1
[root@logstash-node1 conf.d]# cat input_stdin_output_console.conf
input {
         stdin {
               type => stdin
               tags => "tags_stdin"
       }
}

output {
         stdout {
                codec => "rubydebug"
    }

}

#启动logstash
[root@logstash-node1 conf.d]# /usr/share/logstash/bin/logstash -f input_stdin_output_console.conf

在这里插入图片描述

#案例2 从file文件中读取数据，然后输入值标准输入
[root@logstash-node1 conf.d]# cat input_file_output_console.conf
input {
     file {
          path => "/var/log/test.log"    #可以touch一个文件，随意弄点数据
          type => syslog
          exclude => "*.gz"  #不想监听的文件规则，基于glob匹配语法
          start_position => "beginning" #第一次从头开始读取文件  beginning or end
          stat_interval => "3"  #定时检查文件是否更新，默认1s
   }
}

output {
      stdout {
         codec => rubydebug
    }
}

[root@logstash-node1 conf.d]# cat /var/log/test.log
123
123456
2334r4

#启动logstash
[root@logstash-node1 conf.d]# /usr/share/logstash/bin/logstash -f input_file_output_console.conf

在这里插入图片描述

[root@logstash-node1 ~]# echo "11111" >/var/log/test.log 
{
       "message" => "11111",
          "host" => "logstash-node1",
          "path" => "/var/log/test.log",
    "@timestamp" => 2021-06-27T02:41:23.016Z,
      "@version" => "1",
          "type" => "syslog"
}

2.2 Logstash Filter插件

数据从源传输到存储的过程中，Logstash的filter过滤器能够解析各个事件，识别已命名的字段结构，并将它们转换成通用的格式，以便轻松，更快速的分析和实现商业价值。

利用Grok从非结构化数据中派生出结构

利用geoip从ip地址分析出地理坐标

利用useragent从请求中分析操作系统，设备类型

2.2.1 Grok插件

grok语法生成器
用官方的grok语法生成器加载不出来，用这个在线grok语法校验
测试用例日志

[08/Nov/2020:11:40:24 +0800] tc-com.g-netlink.net - - 192.168.122.58 192.168.122.58 192.168.125.135 80 GET 200 /geelyTCAccess/tcservices/capability/L6T7944Z0JN427155 ?pageIndex=1&pageSize=2000&vehicleType=0 21067 17

测试grok表达式

[%{HTTPDATE:access_time}\] %{DATA:hostname} %{DATA:username} %{DATA:fwd_for} %{DATA:remote_hostname} %{IP:remote_ip} %{IP:local_ip} %{NUMBER:local_port} %{DATA:method} %{DATA:status} %{DATA:uri} %{DATA:query} %{NUMBER:bytes} %{NUMBER:latency_ms}

在这里插入图片描述
在这里插入图片描述

1.grok是如何出现？

#我们希望将如下非结构化的数据解析成json结构化数据格式
112.195.209.90 - - [20/Feb/2018:12:12:14 +0800] "GET / HTTP/1.1" 200 190 "-" "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Mobile Safari/537.36" "-"

#需要用到非常复杂的正则表达式

2.grok如何解决该问题？grok其实是带有名字的正则表达式集合，grok内置了很多pattern可以直接使用。

 [grok语法生成器](http://grokdebug.herokuapp.com/)

%{IPORHOST:clientip} %{NGUSER:ident} %{NGUSER:auth} \[%{HTTPDATE:timestamp}\] 
"%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response}(?:%{NUMBER:bytes}|-) (?:"(?:%{URI:referrer}|-)"|%{QS:referrer})
%{QS:agent} %{QS:xforwardedfor} %{IPORHOST:host} %{BASE10NUM:request_duration}

3.grok语法示意图

在这里插入图片描述

4.grok实例，使用grok pattern将nginx日志转为json格式

[root@logstash-node1 conf.d]# cat input_http_filter_grok_output_console.conf 
input {
      http {
          port => 7474
    }
}

filter {
       grok {
           match => {
                    "message" => "%{COMBINEDAPACHELOG}"
       }
    }
}

output {
      stdout {
          codec => rubydebug
   }
}


#启动，加-r修改配置并重启
[root@logstash-node1 conf.d]# /usr/share/logstash/bin/logstash -f input_http_filter_grok_output_console.conf -r

在这里插入图片描述

在这里插入图片描述

2.2.2 Geopip插件

groip插件：根据ip地址提供的对应地域信息，比如经纬度、城市名等、方便进行地理数据分析

#1.配置文件
[root@logstash-node1 conf.d]# cat input_http_filter_grok_output_console.conf
input {
      http {
          port => 7474
    }
}

filter {
       grok {
           match => {
                    "message" => "%{COMBINEDAPACHELOG}"
       }
      }
      #提取clientip字段，获取地域信息
       geoip {
           source => "clientip"
      
    }
}

output {
      stdout {
          codec => rubydebug
   }
}

在这里插入图片描述

在这里插入图片描述

2.2.3 Date插件

date插件：将日期字符串解析为日志类型，然后替换@timestamp字段或指定的其他字段

match类型为数组，用于指定日期匹配的格式，可以以此指定多种日期格式

target类型为字符串，用于指定赋值的字段名，默认是@timestamp

timezone类型为字符串，用于指定区域

#1.date实例。将nginx请求中的timestamp日志进行解析
[root@logstash-node1 conf.d]# cat input_http_filter_grok_output_console.conf
input {
      http {
          port => 7474
    }
}

filter {
       grok {
           match => {
                    "message" => "%{COMBINEDAPACHELOG}"
       }
   }
       geoip {
           source => "clientip"
       }
     
       #20/Feb/2018:12:12:14 +0800
       date {
             match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
             target => "@timestamp"
             timezone => "Asia/Shanghai" 
    }
}

output {
      stdout {
          codec => rubydebug
   }
}

在这里插入图片描述

在这里插入图片描述

2.2.4 useragent插件

useragent插件：根据请求中的user-agent字段，解析出浏览器设备，操作系统等信息

#1.useragent示例
[root@logstash-node1 conf.d]# cat input_http_filter_grok_output_console.conf
input {
      http {
          port => 7474
    }
}

filter {
       grok {
           match => {
                    "message" => "%{COMBINEDAPACHELOG}"
       }
   }
       geoip {
           source => "clientip"
       }
     
       #20/Feb/2018:12:12:14 +0800
       date {
             match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
             target => "@timestamp"
             timezone => "Asia/Shanghai" 
    }
       #提取agent字段，进行解析
       useragent {
                   source => "agent"  #指定从哪个字段获取数据解析
                   target => "user_agent"  #转换后的新字段
      }
}

output {
      stdout {
          codec => rubydebug
   }
}

在这里插入图片描述

在这里插入图片描述

找user_agent,看结果

在这里插入图片描述

2.2.5 mutate插件

mutate主要是对字段进行，类型转换、删除、替换、更新等操作

remove_field 删除字段

split 字符串切割

add_field 添加字段

convert 类型转换

gsub 字符串替换

rename 字段重命名

#1.mutate删除无用字段，比如：headers、message、agent
[root@logstash-node1 conf.d]# cat input_http_filter_grok_output_console.conf
input {
      http {
          port => 7474
    }
}

filter {
       grok {
           match => {
                    "message" => "%{COMBINEDAPACHELOG}"
       }
   }
       geoip {
           source => "clientip"
       }
     
       #20/Feb/2018:12:12:14 +0800
       date {
             match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
             target => "@timestamp"
             timezone => "Asia/Shanghai" 
    }
       
       useragent {
                   source => "agent"
                   target => "user_agent"
      }
       
       #删除不需要的字段
       mutate {
                   remove_field => ["message", "headers", "timestamp", "agent"]
      }
}

output {
      stdout {
          codec => rubydebug
   }
}

在这里插入图片描述

在这里插入图片描述

#2.mutate中的split字符切割，指定|作为分隔符
DAU|8367|加入购物车|2020-01-15 01:08:11
[root@logstash-node1 conf.d]# cat input_java_filter_grok_output_console.conf
input {
      http {
          port => 7474
    }
}

filter {
       mutate {
                split => {"message" => "|"}
      }
}

output {
      stdout {
          codec => rubydebug
   }
}

#启动
[root@logstash-node1 conf.d]# /usr/share/logstash/bin/logstash -f input_java_filter_grok_output_console.conf -r

在这里插入图片描述

在这里插入图片描述

#3.mutate中add_field，可以将分割后的数据创建出新的字段名称，便于以后的统计和分析
[root@logstash-node1 conf.d]# cat input_java_filter_grok_output_console.conf
input {
      http {
          port => 7474
    }
}

filter {
       mutate {
                split => {"message" => "|"}
      }
       
       #将分割后的字段添加到指定的字段名称
       mutate {
              add_field => {
                  "UserID" => "%{[message][0]}"
                  "Action" => "%{[message][1]}"
                   "Date"  =>  "%{[message][2]}"
          }
             remove_field => ["message","headers"]
    }
}
output {
      stdout {
          codec => rubydebug
   }
}

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.2.6 mutate中的convert类型的转换，支持转换integer、float、string和boolean
[root@logstash-node1 conf.d]# cat input_java_filter_grok_output_console.conf
input {
      http {
          port => 7474
    }
}

filter {
       mutate {
                split => {"message" => "|"}
      }
       
       #将分割后的字段添加到指定的字段名称
       mutate {
              add_field => {
                  "UserID" => "%{[message][0]}"
                  "Action" => "%{[message][1]}"
                   "Date"  =>  "%{[message][2]}"
          }
             remove_field => ["message","headers"]

             convert => {
                   "UserID" => "integer"
                   "Action" => "string"
                   "Date"   => "string"
        }
    }
}
output {
      stdout {
          codec => rubydebug
   }
}

在这里插入图片描述

在这里插入图片描述

三、Logstash Output插件

负责将logstash Event输出，常见的插件如下：

stdout

file

elasticsearch

3.1 输出到Linu端，便于调试

#实例配置
output {
       stdout {
              codec => rubydebug
       }
}

输出到文件，实现将分散在多地的文件统一到移除的需求，比如将所有web机器的web日志收集到一个文件中，从而方便查阅信息

3.2 输出到elasticsearch，是最常用的插件，基于htto协议实现

#示例配置
output {
        elasticsearch {
             hosts => ["10.0.0.161:9200","10.0.0.162:9200","10.0.0.163:9200"]
             index => "nginx-%{+yyyy.MM.dd}" #所有名称
             template_overwrite => true    #覆盖所有模板
        }
}

#1.输入到面板和Elasticsearch
[root@logstash-node1 conf.d]# cat input_java_filter_grok_output_console.conf
input {
      http {
          port => 7474
    }
}

filter {
       mutate {
                split => {"message" => "|"}
      }
       
       #将分割后的字段添加到指定的字段名称
       mutate {
              add_field => {
                  "UserID" => "%{[message][0]}"
                  "Action" => "%{[message][1]}"
                   "Date"  =>  "%{[message][2]}"
          }
             remove_field => ["message","headers"]

             convert => {
                   "UserID" => "integer"
                   "Action" => "string"
                   "Date"   => "string"
        }
    }
}
output {
      stdout {
          codec => rubydebug
   }
      elasticsearch {
                hosts => ["10.0.0.161:9200","10.0.0.162:9200","10.0.0.163:9200"]
                index => "app-%{+YYYY.MM.dd}"
                template_overwrite => true
     }
}

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

一个不专业的码农
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Logstash基本介绍和使用场景
peng_0129的博客
01-11 3458
什么是logstash，里面的基本工作流程input,filter,output等说明    什么是logstash (文档地址 https://www.elastic.co/guide/en/logstash/current/index.html)                    开源的日志收集引擎，具备实时传输的能力                    读取不同的数据源，并进行...
LogStash 简介
Fisher3652的博客
03-13 1万+
目录1. 概述2. 体系结构2.1 插件2.2 事件2.2.1 访问事件属性2.2.2 事件 API2.3 队列2.3.1 持久化队列2.3.2 死信队列3. 管道配置3.1 主管道配置3.2 单管道配置3.3 多管道配置4. 编解码器插件4.1 plain 插件4.2 line 编解码器4.3 json 编解码器4.4 序列化编解码器5. 输入输出插件5.1 stdin 输入插件和 stdout 插件5.2 elasticsearch 插件5.3 文件插件5.3.1 事件属性5.3.2 读取模式5.3.3
Logstash原理介绍及应用
长沙老码农
01-29 2万+
目录 1、Logstash安装 2、Logstash原理 2.1 输入、过滤器和输出 2.2 采集各种样式、大小和来源的数据 2.3 实时解析和转换数据 2.4 导出数据 3、 LogStash入门使用 3.1 Input插件 4、Logstash高级使用 4.1 jdbc插件 4.2 syslog插件 4.3 filter插件 4.4 Output插件 logstash是一种分布式日志收集框架，开发语言是JRuby，当然是为了与Java平台对接，不过与Ruby语法兼容良好.
Logstash常用配置和日志解析_logstash 日志输出位置
最新发布
2401_84715926的博客
05-16 1175
syslog { # 系统日志方式type => “system-syslog” # 定义类型port => 10514 # 定义监听端口beats { # filebeats方式filter {#定义数据的格式grok {#定义时间戳的格式date {#定义客户端的IP是哪个字段（上面定义的数据格式）geoip {#需要进行转换的字段，这里是将访问的时间转成int，再传给Elasticsearchmutate {output {
Logstash：Logstash 入门教程 （一）
热门推荐
Elastic 中国社区官方博客
05-07 8万+
Logstash是一个功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助你解析，丰富，转换和缓冲来自各种来源的数据。 如果你的数据需要Beats中没有的其他处理，则需要将Logstash添加到部署中。 Logstash是Elastic栈非常重要的一部分，但是它不仅仅为Elasticsearch所使用。它可以介绍广泛的各种数据源。Logstash可以帮利用它自己的Filter帮我们对......
logstash简介及基本操作
yurun_house的博客
10-13 6万+
一：logstash概述： 简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。 logstash常用于日志系统中做日志采集设备，最常用于ELK中作为日志收集器使用 二：logstash作用： 集中、转换和存储你的数据，是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存
Logstash的简单使用
weixin_44303027的博客
06-19 9990
logstash对mysql的数据获取，处理解析成需要的数据格式并推送到ES
logstash安装部署手册
05-12
本安装部署手册将详细介绍如何在不同的操作系统上安装和配置 Logstash。 1. **系统要求**： - 在安装 Logstash 之前，确保你的系统满足最低硬件和软件需求，包括足够的内存、磁盘空间以及兼容的操作系统（如 ...
使用logstash作为docker日志驱动收集日志
01-20
本文将详细介绍如何使用Logstash作为Docker的日志驱动来收集和处理容器的日志。 首先，需要了解Docker的日志系统。Docker的默认日志驱动是`json-file`，它会将每个容器的日志保存在宿主机的`/var/lib/docker/...
logstash-output-syslog
05-10
**logstash-output-syslog 插件介绍** `logstash-output-syslog`是Logstash的一个输出插件，它的主要功能是将Logstash接收到的日志数据发送到syslog服务器。这个插件使得Logstash能够集成到现有的syslog基础设施中...
最新版windows logstash-7.8.0.zip
06-19
1. **配置Logstash**：修改 `config/logstash.yml` 文件以配置Logstash的基本设置，如路径、日志级别和JVM参数。 2. **编写配置文件**：创建或修改 `config/pipeline.conf` 或者其他配置文件，定义输入、过滤器和...
logstash-filter-verifier
04-29
Logstash筛选器验证程序已知局限性和未来工作执照 介绍用于收集和处理日志的Logstash程序很流行，通常用于处理syslog消息和HTTP日志。 除了提取日志事件并将其发送到一个或多个目的地之外，它还可以通过多种方式转换...
Logstash基础入门
我的博客
08-13 1123
Logstash 是一个开源的数据收集引擎，它具有备实时数据传输能力。它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。顾名思义，Logstash 收集数据对象就是日志文件。由于日志文件来源多（如：系统日志、服务器 日志等），且内容杂乱，不便于人类进行观察。因此，我们可以使用 Logstash 对日志文件进行收集和统一过滤，变成可读性高的内容，方便开发者或运维人员观察，从而有效的分析系统/项目运行的性能，做好监控和预警的准备工作等。
Logstash的介绍、原理、优缺点、使用、持久化到磁盘、性能测试
u010739163的博客
08-24 2万+
一、ELK介绍 对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearch、Logstash、Kibana技术栈的结合。 二、Logstash简介 Logstash 是一款...
Logstash：Logstash 入门教程 （二）
Elastic 中国社区官方博客
05-08 3万+
这是之前系列文章“Logstash：Logstash 入门教程 （一）”的续集。在之前的文章中，我们详细地介绍了Logstash是什么？在今天的文章中，我们将详细介绍如果使用Logstash，并把 Apache Web log导入到 Elasticsearch中。在这篇文章中，我们将触及到如下的过滤器： Grok Geoip Useragent Date Mutate 安装 Elastic.........
Logstash 详细介绍、安装与使用
一个认真学习的女孩子的博客
03-14 3175
Logstash 是一个具有实时管道功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据规范化到您选择的目标中。为了多样化的高级下游分析和可视化用例，清理和使所有数据平等化。虽然 Logstash 最初在日志收集方面推动了创新，但它的能力远远超出了该用例。任何类型的事件都可以通过广泛的输入、过滤和输出插件进行增强和转换，许多本地编解码器进一步简化了摄入过程。Logstash 通过利用更多的数据量和种类加速您的洞察力。Logstash 到 Elastic Cloud 无服务器。
mall大型企业项目：11、面向aop编程之controller切面日志
ljs13168734665的博客
12-07 124
面向aop编程之controller切面日志1、WebLog2、WebLogAspect3、访问请求4、控制台可记录日志 1、WebLog package com.macro.mall.common.domain; import lombok.Data; import lombok.EqualsAndHashCode; /** * Controller层的日志封装类 * Created by macro on 2018/4/26. */ @Data @EqualsAndHashCode(callS
（二）logstash简介
weixin_43930865的博客
01-14 911
文章目录1：logstash简介1：安装启动logstash1：安装2：配置3：启动logstash4：logstash单元测试2：深入logstash1：事件1.1：事件属性2：数据持久化队列3：logstash插件2.1：输入插件 1：logstash简介 Logstash 基于插件开发和应用，包括输入、过滤器和输出三大类插件。 输 入插件指定了数据来源 过滤器插件则对数据做过滤清洗 而输出插件则指定了 数据将被传输到哪里 LogStash 是一个类似实时流水线的开源数据传输引擎，它像一个两头连接不 同
Logstash配置语法
weixin_45880055的博客
08-11 3753
文章目录Logstash基本语法组成Logstash输入插件(Input)Logstash编码插件(Codec)Logstash过滤器插件(Filter插件)Logstash输出插件（output） Logstash基本语法组成 logstash之所以功能强大和流行，还与其丰富的过滤器插件是分不开的，过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的事件到后续流程中。 Logstash配置文件有如下三部分组成，其中input、output部分是必须配置，filt
00_ELK阅读笔记1
08-08
基于Logstash的日志处理配置语法1 语法1 区段用 {} 表示bin/logstash -e 'input { stdin { } } output {

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值