Logstash 解析Kong字符串删除json嵌套字段

已于 2023-03-28 11:14:46 修改
阅读量420 收藏
点赞数
分类专栏： ELK-开发运维使用技巧 ELK系统 监控体系平台 文章标签： kong json elasticsearch
于 2023-03-28 11:14:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31555951/article/details/129812145
版权
本文介绍了如何使用Logstash解析Kong日志，并解决因字段类型不一致导致的错误。通过配置Logstash文件，焦点在于处理JSON嵌套字段。
摘要由CSDN通过智能技术生成
1、场景

Logstash 收集Kong的日志，有字段类型不一致导致报错，
object mapping for [request.querystring.login] tried to parse field [login] as object, but found a concrete value
在这里插入图片描述
在这里插入图片描述

2、配置Logstash文件
[root@gtcq-gt-monitor-prometheus-01 conf.d]# more  getway_kong_log.conf 
input{
   
    kafka
运维打怪晋级之路
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
logstash之嵌套复杂json解析及扁平化处理
浪荡江湖的博客
04-28 6789
近期公司有一个需求是使用logstash将复杂的嵌套json扁平化(将原来的多层json映射成单层json，其中的key通过下划线'_'连接)，并写入s3。据我以往的经验我推测应该有两种方案可行，其中方案一代码简单，但缺点很多，方案二简单高效，但网上没有现成的，我以往也没有使用过，通过google也只google到event.to_hash这个稍微有用的方法，这也是我分享的原因，望对有类似需求的朋...
logstash mysql 时区_Logstash处理时区、类型转换、删除字段的案例配置
weixin_31697021的博客
02-09 222
#输入input {file {path => ["文件路径"]#自定义类型type => "自定义"start_position => "beginning"}}#过滤器filter{#去除换行符mutate{gsub => [ "message", "\r", "" ]}#逗号分割mutate {split => ["message",","]}#分割后，字段命名...
Logstash处理嵌套的json字符串
Posin 的博客
12-17 1732
Logstash解析元数据的json字符串生成新的字段
logstash 删除字段
有道无术，术尚可求，有术无道，止于术。
10-27 1万+
问题 filebeat采集日志信息后，logstash打印信息，这个过程中，filebeat将自身的客户端信息也传送给了logstash，如果logstash不对这些字段进行过滤，导致es创建索引时，产生大量没有必要的字段。 解决方案： 在配置文件中进行过滤，删除没有必要的字段。 input { beats { port => 5044 } } fi...
logstash解析嵌套json格式数据
热门推荐
u011311291的博客
02-01 1万+
现有json: { "name":"zhangsan", "friends": { "friend1":"lisi", "friend2":"wangwu", "msg":["haha","yaya"] } } 将其解析为: { "name":"zhangs
logstash 嵌套json/多层json解析配置
a150791038的博客
04-06 3111
最近解析日志时，发现日志最多有六层嵌套json，且每层json的位置也经常变换，导致正则解析经常失效，并且最终解析文件过于庞大； 最终改成json方式解析日志。 日志样例： <150>Mar 10 13:22:57 localhost sdp-proxy@userLog[486]: {"event":{"subType":"user.l3app.access","mainType":"app","timestamp":"2022-03-10 13:22:57","level":"INFO"
Logstash解析嵌套JSON格式数据&常见时间操作
XMZHSY的博客
11-30 8592
嵌套Json格式数据 JSON格式一 有如下JSON日志（position下是一个JSON） { "RequestTime":1637737587605, "timestamp":"2021-11-24T15:06:42.681Z", "position":{ "LogType":"请求日志", "TopDirectory":"stream_ad_v1", "RequestIp":"127.0.0.1" } } 将其.
微服务框架（三十）Logstash Kong 日志上报
若明天不见
04-12 2528
此系列文章将会描述Java框架Spring Boot、服务治理框架Dubbo、应用容器引擎Docker，及使用Spring Boot集成Dubbo、Mybatis等开源框架，其中穿插着Spring Boot中日志切面等技术的实现，然后通过gitlab-CI以持续集成为Docker镜像。 本文为Logstash Kong 日志上报 本系列文章中所使用的框架版本为Spring Boot 2.0.3-...
logstash 子（二级）字段过滤
weixin_34348111的博客
05-19 1083
logstash的数据源为json，部分数据 "level" => { "levelStr" => "ERROR", "level" => 40000 }, "type" => "community", 一、用某个字段作为过滤条件 filter { if [type] != "community"{ drop {} ...
Logstash学习之路（三）Logstash处理时区、类型转换、删除字段的案例配置
weixin_30814223的博客
04-25 376
#输入 input { file { path => ["文件路径"] #自定义类型 type => "自定义" start_position => "beginning" } } #过滤器 filter{ #去除换行符 mutate{ gsub => [ "message", "\r...
date时区 es logstash_Logstash学习之路（三）Logstash处理时区、类型转换、删除字段的案例配置...
weixin_29886329的博客
02-15 266
#输入input {file {path=> ["文件路径"]#自定义类型type=> "自定义"start_position=> "beginning"}}#过滤器filter{#去除换行符mutate{gsub=> [ "message", "\r", ""]}#逗号分割mutate {split=> ["message",","]}#分割后，字段命名与赋值mut...
logstash同步mysql数据到Elasticsearch实战,主要实现删除
Giggle1994的博客
12-15 4653
一.前言 之前网上看了很多文章，说mysql同步数据到Elasticsearch只能做增量同步，即只能新增（add）或者修改（update），不支持删除（delete）操作。所以一般的做法是使用逻辑删除，查询时带上逻辑删除字段，然后使用定时器定时去物理删除状态为删除的数据。最近刚好应用，一开始也是采用逻辑删除的做法，但是我的sql语句关联了4张表，每张表的逻辑删除状态有deleted（删除状态）、status（禁用启用状态）两个，一共就是4*2=8个逻辑删除字段，查询ES时需带上8个字段，...
logstash mysql 时区_Logstash学习之路（三）Logstash处理时区、类型转换、删除字段的案例配置...
weixin_34731498的博客
02-02 330
#输入input {file {path=> ["文件路径"]#自定义类型type=> "自定义"start_position=> "beginning"}}#过滤器filter{#去除换行符mutate{gsub=> [ "message", "\r", ""]}#逗号分割mutate {split=> ["message",","]}#分割后，字段命名与赋值mut...
监控日志loging Logstash (一)
鱼的博客
07-27 696
一、Logstash简介 1、官网地址 https://www.elastic.co/guide/en/logstash/7.x/introduction.html 2、软件介绍 官方介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的
Logstash核心配置详解: 面对繁杂的Logstash配置，这份文档一定能让您少走弯路
最新发布
程序员光剑
09-19 6226
本文将详细解读并逐步配置Logstash核心组件，从而保障日志数据采集、清洗、加工、分析的完整链路。由于业务需求的不断变化和复杂性的增加，日志采集、清洗、处理成为企业运维效率中最耗时的环节之一。很多企业为了解决这个痛点，都选择了开源日志收集工具如Elastic Stack，其灵活高效的架构可以满足各个公司不同场景下的日志采集、存储、查询需求。在配置Logstash时，要注意它的核心组件配置，其中的pipeline模块非常重要，其次还有input、filter、output三部分构成。
如何在logstash的配置文件里边删除csv中columns中多余的field字段
sxf_123456的博客
07-21 6424
当采集数据时生成的csv的文件，但是发现采集表数据有些在es中不需要，这时，可以在filter插件中的csv中，使用remove_field =&gt; [ "filed1","filed2" ]来删除多余字段input {    file {        path =&gt; [                        "/test/111.csv"                ]  ...
filter过滤器_logstash过滤器插件filter详解及实例
weixin_39550486的博客
11-27 383
logstash过滤器插件filtergrok正则捕获grok是一个十分强大的logstash filter插件，他可以通过正则解析任意文本，将非结构化日志数据弄成结构化和方便查询的结构。他是目前logstash 中解析非结构化日志数据最好的方式grok的语法规则是：%{语法：语义}“语法”指的是匹配的模式。例如使用NUMBER模式可以匹配出数字，IP模式则会匹配出127.0.0.1这样...
logstash 字段类型转换后 需要刷新
my_bai的博客
03-28 1454
[html] view plain copy   filter {       grok {           match => [                "message" , "\s*%{IPORHOST:clientip}\s+\-\s+\-\s+ \s+\"%{WORD:verb}\s+(?api>(\S+))\?.*\s+HTTP/%
[log]logstash添加字段.geoip展示
毛台
09-17 6532
add_field配置文件input{ file{ add_field => {"testfield"=>"testfield"} path => ["/tmp/a.txt"] type => "a-txt" } }output{ if [type] == "a-txt"{ elasticsearch{
双层json报文样例_Logstash如何解析多层嵌套json数据！！！
05-26
在Logstash中处理多层嵌套的JSON数据，可以使用JSON过滤器。具体步骤如下： 1. 在Logstash配置文件中添加JSON过滤器，例如： ``` filter { json { source => "message" target => "parsed_json" } } ``` 其中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值