关于logstash-out-mongodb插件说明

从kafka获取数据,存到mongodb中。适合空间查询geo_point设置。配置文件如下:

input {
  kafka {
    type => "test"
    auto_offset_reset => "smallest"
    group_id => "m2"
    topic_id => "db100"
    zk_connect => "192.168.199.6:2181,192.168.199.7:2181,192.168.199.8:2181"
  }
}

filter {
  mutate {
    split => { "message" => "," }
      add_field => {
                "id" => "%{message[1]}"
                "SYZTDM_s" => "%{message[55]}"
                "lat" => "%{message[6]}"
                "lon" => "%{message[7]}"
                "loc" =>  "%{message[6]}"
     }
     remove_field => [ "message" ]
     remove_field => [ "path" ]
     remove_field => [ "host" ]
     remove_field => [ "type" ]
}
mutate{
 convert => {"lat" => "float"}
 convert => { "lon" => "float"}
 convert => {"loc" => "float"}


}
mutate{
    merge => {"loc" =>"lon"}
}
}

output {
mongodb {
        collection => "base"
        database => "fragment"


        uri => "mongodb://192.168.199.7:27017"
       }
}


注意:

1.logstash需要安装mongodb插件,默认没有安装的。(bin/logstash-plugin install logstash-output-mongodb

2.插入方式是insert方式,是单个插入。

3.geo_point查询方式是数组类型的。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小努蛋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值