logstash的安装以及各种数据情况的处理方法＋解析嵌套json格式数据详解

最新推荐文章于 2024-08-30 08:18:42 发布
最新推荐文章于 2024-08-30 08:18:42 发布
阅读量1.2k 收藏 4
点赞数
分类专栏： elasticsearch 文章标签： json elasticsearch 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Clozzz/article/details/106341351
版权

简介与安装：

logstash的作用：日志收集

工作原理：

  • 输入(input)：必须要，如stdin、file、http、exec...
  • 过滤器(filter)：可选，如grok、mutate...
  • 输出(output)：必须要，如stdout、elasticsearch、file...

运行logstash的两种方法：

logstash -e 'input{stdin{ } } output{stout{ }}'          //使用给定的配置字符串，其格式同配置文件
logstash -f 配置文件                                      //读取配置文件

安装教程：

环境要求：虚拟机、jdk

软件资源(自取)：

https://pan.baidu.com/s/1A8-3ranhF8bHf6McvsCKCg 
提取码：otjs

//解压
tar -zxf logstash-6.2.2.tar.gz
//移动到soft文件夹下（个人习惯，没有请自建文件夹）
mv logstash-6.2.2 /opt/soft/logstash622

 简单输入输出：

首先需要进入你安装的logstash的bin目录下，执行以下语句：

 修改输出格式为json格式：

 配置文件执行logstash：

1. 自定义配置文件

//配置文件内容
input {
    stdin {}
}
output {
    stdout {
        codec => rubydebug
    }
}

2. 加载配置文件执行logstash

利用logstash读取文件内容：

1. 新建一个文本文件：

 2. 配置文件写法：

input {
    file {
        path => "/opt/a.txt"
        start_position => "beginning"
        sincedb_path => "/dev/null"            (设置每次都从文章开头读起)
    }
}
output {
    stdout {
        codec => rubydebug
    }
}

3. 测试结果：

 读取json文件内容：

将配置文件修改为如下配置：

input {
    file {
        path => "/opt/a.txt"
        start_position => "beginning"
        sincedb_path => "/dev/null"
        codec => json
    }
}
output {
    stdout {
        codec => rubydebug
    }
}

测试内容：

 {"browse":"chrome:true version:81.1","custid":"10000","jzy":{"eventCategory":"btn_click","position":"128 65","time":"2000-01-01 12:00:00","pageName":"index.html","msg":"body"}}
{"browse":"chrome:true version:81.1","custid":"29070","jzy":{"eventCategory":"btn_click","position":"128 65","time":"2000-01-01 12:01:00","pageName":"index.html","msg":"every"}}
{"browse":"chrome:true version:81.2","custid":"26775","jzy":{"eventCategory":"btn_click","position":"128 65","time":"2000-01-01 12:02:00","pageName":"index.html","msg":"body"}}
{"browse":"chrome:true version:81.1","custid":"43694","jzy":{"eventCategory":"href_click","position":"128 65","time":"2000-01-01 12:03:00","pageName":"index.html","msg":"hello"}}

测试结果：

读取嵌套json语句：(重点！！！)

{"browser":"chrome:true version:63.0.3315.0","custid":"10000",
"clz":{"eventCategory":"txt_input","position":"128 64",
"time":"2000-02-01 12:00:00","pageName":"http://localhost:8080list.html","msg":"ddd"}}
 
 
46825|event_login|949395933986|192.168.56.202


{
	"name":"zhangsan",
	"friends":
	{
		"friend1":"lisi",
		"friend2":"wangwu",
		"msg":["haha","yaya"]
	}
}

预期的解析格式：

{
	"name":"zhangsan",
	"friend1":"lisi",
	"friend2":"wangwu",
	"msg":["haha","yaya"]
}

logstash配置文件写法：

input 
{
	file{
        path => "/opt/system/sys.log"
        start_position => "beginning"
        sincedb_path => "/dev/null"      (设置每次都从文章开头读起)
        type => "system"
     }
    file{
        path => "/opt/action/user.log"
        start_position => "beginning"
        sincedb_path => "/dev/null"      (设置每次都从文章开头读起)
        type => "action"
        codec => json                     (输入文本为json格式的)
     }
}

filter
grok{
    match => {"message" => "(?<userid>[0-9]+)\|(?<event_name>[a-zA-Z_]+)\|(?<times>[0-9]+)\|(?<client_ip>[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})"}
    remove_field => ["message"]
  }
    {
        mutate
	       {
            add_field => { "@abc" => "%{clz}" } #先新建一个新的字段，并将friends赋值给它
           }
	    json
	       {
		      source => "@abc"	#再进行解析
		      remove_field => [ "@abc","clz" ]	#删除不必要的字段，也可以不用这语句
	       }
}

output
{
	elasticsearch{           （输出到elasticsearch数据库里）
        hosts => "http://192.168.56.101:9200"
        index => "system"     (库名)
        document_type => "sys"   （表名）
    }
}

grok语法与正则的使用：

现要对以下非json格式进行分割，并将其以json格式输出

68738|event_login|947700000426|192.168.56.1
50553|event_login|948042000426|192.168.56.2
76286|event_login|951224460426|192.168.56.3

方法一：

正则匹配：

input {
    file {
        path => "/opt/b.txt"
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}
filter {
    grok{
        match => {"message" => "(?<userid>[0-9]+)\|(?<event_name>[a-zA-Z_]+)\|(?<times>[0-9]+)\|(?<client_ip>[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})"}
        remove_field => ["message"]
    }
}
output {
    stdout {
        codec => rubydebug
    }
}

方法二：

grok语法：

input {
    file {
        path => "/opt/b.txt"
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}
filter {
    grok {
        match => { "message" => "%{NUMBER:usid}\|%{WORD:uname}\|%{NUMBER:times}\|%{IP:client_ip}" }
        remove_field => [ "message" ]
    }
}
output {
    stdout {
        codec => rubydebug
    }
}

结果测试：

双线程读取：

同时读取两个文件，这里以a.txt json格式，与b.txt普通格式为例：

文件内容：

system：

46825|event_login|949395933986|192.168.56.202
65668|event_login|949413933986|192.168.56.128
28504|event_login|949431933986|192.168.56.24
84867|event_login|949449993986|192.168.56.99
60249|event_login|949467993986|192.168.56.52
24364|event_login|949485993986|192.168.56.128
38244|event_login|949503993986|192.168.56.66
37634|event_login|949521993986|192.168.56.67
66553|event_login|949539993986|192.168.56.27
44840|event_login|949557993986|192.168.56.240

 action：

{"browser":"chrome:true version:63.0.3315.0","custid":"10000","clz":{"eventCategory":"txt_input","position":"128 64","time":"2000-02-01 12:00:00","pageName":"http://localhost:8080list.html","msg":"ddd"}}
{"browser":"chrome:true version:63.0.3315.0","custid":"82251","clz":{"eventCategory":"txt_input","position":"128 64","time":"2000-02-01 12:01:00","pageName":"http://localhost:8080list.html","msg":"ccc"}}
{"browser":"chrome:true version:65.0.3314.0","custid":"15991","clz":{"eventCategory":"txt_input","position":"128 64","time":"2000-02-01 12:02:00","pageName":"http://localhost:8080index.html","msg":"ddd"}}
{"browser":"chrome:true version:65.0.3314.0","custid":"44813","clz":{"eventCategory":"href_click","position":"128 64","time":"2000-02-01 12:03:00","pageName":"http://localhost:8080list.html","msg":"ccc"}}
{"browser":"chrome:true version:63.0.3315.0","custid":"35950","clz":{"eventCategory":"href_click","position":"128 64","time":"2000-02-01 12:04:00","pageName":"http://localhost:8080index.html","msg":"ddd"}}
{"browser":"chrome:true version:63.0.3315.0","custid":"68266","clz":{"eventCategory":"btn_click","position":"128 64","time":"2000-02-01 12:05:00","pageName":"http://localhost:8080list.html","msg":"ccc"}}
{"browser":"chrome:true version:63.0.3315.0","custid":"40362","clz":{"eventCategory":"txt_input","position":"128 64","time":"2000-02-01 12:06:00","pageName":"http://localhost:8080list.html","msg":"hello"}}
{"browser":"chrome:true version:63.0.3315.0","custid":"40355","clz":{"eventCategory":"txt_input","position":"128 64","time":"2000-02-01 12:07:00","pageName":"http://localhost:8080list.html","msg":"ccc"}}
{"browser":"chrome:true version:63.0.3315.0","custid":"39131","clz":{"eventCategory":"href_click","position":"128 64","time":"2000-02-01 12:08:00","pageName":"http://localhost:8080list.html","msg":"ddd"}}
{"browser":"chrome:true version:63.0.3315.0","custid":"31252","clz":{"eventCategory":"txt_input","position":"128 64","time":"2000-02-01 12:09:00","pageName":"http://localhost:8080index.html","msg":"ddd"}}
{"browser":"chrome:true version:65.0.3314.0","custid":"28516","clz":{"eventCategory":"btn_click","position":"128 64","time":"2000-02-01 12:10:00","pageName":"http://localhost:8080list.html","msg":"hello"}}
{"browser":"chrome:true version:65.0.3314.0","custid":"55582","clz":{"eventCategory":"href_click","position":"128 64","time":"2000-02-01 12:11:00","pageName":"http://localhost:8080list.html","msg":"ccc"}}
{"browser":"chrome:true version:63.0.3315.0","custid":"62551","clz":{"eventCategory":"href_click","position":"128 64","time":"2000-02-01 12:12:00","pageName":"http://localhost:8080index.html","msg":"hello"}}

配置文件如下写法：

input {
    file {
        path => "/opt/b.txt"
        start_position => "beginning"
        sincedb_path => "/dev/null"
        type => "system"
    }
    file {
        path => "/opt/a.txt"
        start_position => "beginning"
        sincedb_path => "/dev/null"
        codec => json
        type => "action"
    }
}
filter {
    if [type] == "system" {
        grok {            match => { "message" => "(?<userid>[0-9]+)\|(?<event_name>[a-zA-Z_]+)\|(?<times>[0-9]+)\|(?<clientip>[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})" }
            remove_field => [ "message" ]
        }
    }else {
         mutate {
             add_field => { "@adv" => "%{clz}" }
         }
         json {
            source => "@adv"
            remove_field => [ "@adv","clz" ]
         }
    }
}
output {
    stdout {
        codec => rubydebug
    }
}

结果测试：

使用logstash将读取内容导入到elasticsearch中：

写法如下：

 

Clozzz
关注
专栏目录
Fliebeat+Kafka+Elasticsearch+Logstash日志分析实战
悦分享
10-08 907
ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。
数据仓库【数据同步&ETL】
程序员学习圈
10-11 634
* ETL数据同步之工具（Sqoop、DataX、Kettle、Canal 等）； * ETL数据同步之语言； * ETL数据同步之源数据类型； * ETL数据加载策略； * ETL数据加载策略【增量表详解】 * ETL数据加载策略【拉链表详解】
logstash解析json对象
weixin_45583482的博客
03-11 3019
"fields" => { "tenant_id" => -1, "project" => "bss3", "app_name" => "ilog_default_application", "projectName" => "test", "project_id" => 561959, "messagetopic" => "logstash
Logstash解析嵌套JSON格式数据&常见时间操作
XMZHSY的博客
11-30 8705
嵌套Json格式数据 JSON格式一 有如下JSON日志（position下是一个JSON） { "RequestTime":1637737587605, "timestamp":"2021-11-24T15:06:42.681Z", "position":{ "LogType":"请求日志", "TopDirectory":"stream_ad_v1", "RequestIp":"127.0.0.1" } } 将其.
链接追踪系列-07.logstash安装json_lines插件
suanhengzi的博客
07-14 551
logstash优化：官方的建议是提高每次批处理的数量，调节传输间歇时间。当batch.size增大，es处理的事件数就会变少，写入也就越快了。
logstash使用之json输入输出
落叶下的光
11-24 2万+
概述如果发送给logstash的数据内容为json格式,那么可以通过解析json内容,根据具体内容生成字段.方便分析和储存,比如:有一个json内容为: {"name":"nihao"},我们需要获取这个记录然后通过logstash分析后,放到mysql数据库中.一个简单的logstash输出内容为:{ "@version" => "1", "host" => "lo
logstash 嵌套json/多层json解析配置
a150791038的博客
04-06 3147
最近解析日志时，发现日志最多有六层嵌套json，且每层json的位置也经常变换，导致正则解析经常失效，并且最终解析文件过于庞大； 最终改成json方式解析日志。 日志样例： <150>Mar 10 13:22:57 localhost sdp-proxy@userLog[486]: {"event":{"subType":"user.l3app.access","mainType":"app","timestamp":"2022-03-10 13:22:57","level":"INFO"
Logstash：如何使用 Logstash 解析并摄入 JSON 数据到 Elasticsearch
Elastic 中国社区官方博客
01-31 2333
详细描述如何把 JSON 格式的文件摄入到 Elasticsearch 集群中。
Python将json文件写入ES数据库的方法
09-19
### Python将JSON文件写入Elasticsearch数据库的方法详解 #### 一、前言 随着大数据技术的发展，Elasticsearch（简称ES）作为一种基于Lucene的搜索引擎，在数据搜索、日志分析等领域得到了广泛应用。Python作为一门...
Java字符串数组与XML_JSON数据处理：解析与生成的终极技巧
[Java字符串数组与XML_JSON数据处理：解析与生成的终极技巧](https://code.visualstudio.com/assets/docs/languages/java/code-snippet.png) # 1. Java字符串数组基础 字符串数组是Java编程中处理文本信息的基础...
Logstash插件开发详解与常用插件介绍
Logstash是一个开源的数据处理引擎，用于收集、分析和转发数据。它通过插件来扩展功能，使得用户可以根据自己的需求定制化Logstash的行为。 ### 1.1 Logstash插件的概念 插件是Logstash的组成部分，用于实现特定的...
logstash+grok+json+elasticsearch解析复杂日志数据(一)
热门推荐
cuixuange的博客
11-25 2万+
这几天学习了logstash写配置文件conf解析包含部分json数据格式的日志数据，并在elasticsearch以及kibana进行直观的数据浏览。对于logstash有了更加深入的了解，logstash在运维方面是开源的日志收集框架，其中包含了许多插件，下载的时候就包含在其中了，比较常用的有输入插件，输出插件，codec编码插件，filter过滤器插件，输出插件等等，甚至还有许多美未能进入官
python logstash_python logging定制logstash的json日志格式
weixin_39860946的博客
12-08 627
最近一直在折腾日志的收集，现在算是收尾了。 写一篇算python优化logstash的方案。其实大家都知道logstash调用grok来解析日志的话，是要消耗cpu的成本的，毕竟是需要正则的匹配的。根据logstash调优的方案，咱们可以预先生成json的格式。 我这边基本是python的程序，怎么搞尼 ？有两种方法，第一种方法是生成json后，直接打入logstash的端口。 还有一种是生成j...
Logstash——Logstash过滤器（filter）解析不同格式的数据
大风的博客
05-12 5374
Logstash 支持不同的数据源头，在数据从源头到目标的过程中，Logstash提供了对数据处理的操作。对数据的操作需要配置filter的内容。 关于安装Logstash的安装可以看之前的文章安装Logstash并完成一个简单的日志收集功能 Logstash过滤器对不同格式数据的处理 Logstash涉及对不同格式数据处理的过滤器主要是下面几个 过滤器 作用 json 用来解析JSON格式的内容 json_encode 用来将字段编译成JSON格式 kv 解析键值对的数据 .
推荐使用logstash_formatter：为Logstash定制的JSON日志格式化工具
最新发布
gitblog_00529的博客
08-30 541
推荐使用logstash_formatter：为Logstash定制的JSON日志格式化工具 python-logstash-formatterpython JSON log formatter with a logstash compatible schema项目地址:https://gitcode.com/gh_mirrors/py/python-logstash-formatter 项目介...
SpringBoot使用ELK日志收集
马明的博客
01-19 2752
个人博客纯净版 SpringBoot使用ELK日志收集 | 代码搬运工 Logstash配置 1、首先在 Logstach_HOME 目录中创建一个配置文件，名为 logstash.conf（名字任意） 在logstash.conf配置文件中添加如下配置： input { tcp { mode => "server" host => "0.0.0.0" port => 9600 codec => json_lines } } ou
Logstash 输入，过滤器，输出
App20134833944的博客
03-09 2074
mutate插件是用来处理数据的格式的，你可以选择处理你的时间格式，或者你想把一个字符串变为数字类型（当然需要合法），同样的你也可以返回去做。ruby插件可以使用任何的ruby语法，无论是逻辑判断，条件语句，循环语句，还是对字符串的操作，对EVENT对象的操作，都是极其得心应手的。这个插件也是极其好用的一个插件，现在我们的日志信息，基本都是由固定的样式组成的，我们可以使用json插件对其进行解析，并且得到每个字段对应的值。在这里我只介绍如何输出到ES,至于如何输出到端口和指定文件,有很多的文档资料可查找.
logstash的安装与使用（读取嵌套json平级格式，grok语法与正则使用，双线程处理，导入elasticsearch）
weixin_42487460的博客
05-26 1343
logstash的安装与使用一、简介与安装二、简单体验输入输出（配置字符串）修改输出格式为json格式三、读取配置文件输入输出读取文件中的内容（1）读取普通文本（2）读取json格式内容（3）多层嵌套json平级格式四、grok语法与正则的使用五、双线程处理 一、简介与安装 logstash的作用：日志收集 如何工作： 输入（input）:必须，如stdin、file、http、exec… 过滤器（filter）：可选，如grok、mutate… 输出（output）：必须，如stdout、elastic
logstash插件配置-codec插件说明json和multiline
weixin_30443075的博客
07-22 911
编码插件(Codec) Codec 是 logstash 从 1.3.0 版开始新引入的概念(Codec来自Coder/decoder 两个单词的首字母缩写)。 在此之前，logstash 只支持纯文本形式输入，然后以过滤器处理它。但现在，我们可以在输入期处理不同类型的数据，这全是因为有了 codec 设置。 所以，这里需要纠正之前的一个概念。Logstash 不只是一个in...
双层json报文样例_Logstash如何解析多层嵌套json数据！！！
05-26
在Logstash中处理多层嵌套的JSON数据，可以使用JSON过滤器。具体步骤如下： 1. 在Logstash配置文件中添加JSON过滤器，...以上是一个简单的Logstash处理多层嵌套JSON数据的示例，具体实现还需要根据实际情况进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值