logstash之嵌套复杂json解析及扁平化处理

本文介绍了如何使用Logstash结合Ruby插件处理复杂的嵌套JSON数据,将其扁平化为单层JSON。文章提出了两种方案,一种是静态提取所需字段,适合简单场景但维护不便;另一种是动态解析所有字段,通用性强且避免大量手动配置。后者通过递归方式实现,解决了代码灵活性和扩展性问题。
摘要由CSDN通过智能技术生成

近期公司有一个需求是使用logstash将复杂的嵌套json扁平化(将原来的多层json映射成单层json,其中的key通过下划线'_'连接),并写入s3。据我以往的经验我推测应该有两种方案可行,其中方案一代码简单,但缺点很多,方案二简单高效,但网上没有现成的,我以往也没有使用过,通过google也只google到event.to_hash这个稍微有用的方法,这也是我分享的原因,望对有类似需求的朋友能够提供些许帮助,同时欢迎指教、批评我实现中的不足。

方案一、使用ruby插件,静态提取你需要的json字段,并将其扁平化处理后通过event api设置回去

         例如:你需要提取你有如下的json数据,你想要其扁平化

          {
            "request":{
                "eventId":"gift",
                "data":{
                      "tokenId":"738451896415027200",
                      "ip":"103.69.155.90",
                }
           }
        }

        你可以在logstash中,通过ruby filter的event api的get、set方法来实现,代码如下:

        ruby{

            code => '

  • 0
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值