MetricBeat配置ZooKeeper模块后,logstash显示异常

ELK版本:7.2
Zookeeper:3.4.14/3.5.5

问题描述:

2019-07-30T11:17:12,834][WARN ][logstash.outputs.elasticsearch] Could not index event to Elasticsearch. 
{:status=>400, :action=>["index", {:_id=>nil, :_index=> "metricbeat-7.2.0-2019.07.30", 
:_type=>"_doc", :routing=>nil}, #<LogStash::Event:0x65025a7f>], :response=>{"index"=>{
"_index"=>"metricbeat-7.2.0-2019.07.30",  "_type"=>"_doc", "_id"=>"EyzhQGwBQV56mUOtwXCt", 
"status"=>400, "error"=>{"type"=>"mapper_parsing_exception", 
"reason"=>"failed to parse field [zookeeper.server.version_date] of type [date] 
in document with id 'EyzhQGwBQV56mUOtwXCt'", "caused_by"=>{"type"=>"illegal_argument_exception", 
"reason"=>"failed to parse date field [09/30/2012 17:52 GMT] with format [strict_date_optional_time||epoch_millis]",
"caused_by"=>{"type"=>"date_time_parse_exception", "reason"=>"Failed to parse with all enclosed parsers"}}}}}}

问题分析

1、产生该问题的原因是zookeeper.server.version_date 被当做日期来进行解析,但是09/30/2012 17:52 GMT无法被正确的解析导致此问题
2、起初以为是zookeeper版本问题,但将 zookeeper升级到最新版本3.5.5后仍存在此问题。

解决办法:

修改modules.d/zookeeper.yml 配置文件,在metricbeat将监控结果发送到logstash 或 elasticsearch前,过滤列zookeeper.server.version_date,修改后的配置文件如下:

# Module: zookeeper
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/7.2/metricbeat-module-zookeeper.html

- module: zookeeper
  #metricsets:
  #  - mntr
  #  - server
  period: 10s
  hosts: ["192.168.1.2:2181"]
  processors:
    - drop_fields:
        fields: ["zookeeper.server.version_date"]

显示效果如下:
在这里插入图片描述
–END–

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值