Metricbeat手动加载引擎模板实践,间接采集数据到ES(metricbeat->logstash->es和kafka)

Metricbeat可以采集指标和统计数据并传输到指定的输出,如Elasticsearch或Logstash。
一般需要将数据输出到ES然后通过Kibana做可视化数据展示,但我有一个需求是对采集的数据进行流式分析,流程是metricbeat->logstash->es和kafka。将采集到的数据传输到Logstash中,再通过logstash做分流传输,采集到es做可视化,采集到kafka做流式数据分析。由于metricbeat本身只支持一个输出,所有它无法完成上述需求,只能通过Logstash来做。然而关键问题在于通过间接的方式采集到es的数据是未建立mapping映射的,这导致数据类型与metricbeat 导入的dashboard格式不一致,无法解析间接导入es的指标数据。因此需要在导入数据之前对采集数据所在的索引建立mapping映射,使其Index中的数据符合仪表盘解析数据规则。metricbeat通过es的索引模板方式提前建立好mapping模板,等到创建新索引时自动与模板中设定的索引名匹配,匹配成功自动应用索引模板。

如果用户每次新建一个索引的时候都需要手动创建mapping非常麻烦,es内部维护了template,template定义好了mapping,只要index的名称被template匹配到,那么该index的mapping就按照template中定义的mapping自动创建。而且template中定义了index的shard分片数量、replica副本数量等等属性。

  1. 先通过Metricbeat导出索引模板
./metricbeat export template > metricbeat.template.json
  1. 然后通过ES的REST接口创建模板
curl -XPUT -H 'Co
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值