metricbeat对接kafka

本文介绍了如何配置metricbeat将监控数据输出到Kafka,详细讲解了包括Username、Password、Topic、Key、Partition在内的配置项,并提到了Kafka的负载均衡策略、元数据更新设置以及消息重试和压缩等相关参数。最后,文中提到重启metricbeat服务后,可在Kafka中查看topic中的消息。
摘要由CSDN通过智能技术生成

在监控系统中经常用到kafka来处理数据,上层平台会从kafka直接取数据进行分析,今天分享下metricbeat监控的数据如何输出到kafka中,并对各配置项进行详细说明。
metricbeat环境搭建点这里
kafka环境搭建点这里
-在metricbeat配置文件中配置output为kafka

output.kafka:
  # initial brokers for reading cluster metadata
  hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]

  # message topic selection + partitioning
  topic: '%{[type]}'
  partition.round_robin:
    reachable_only: false

  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000

配置说明
  Username:连接kafka的用户名(如果kafka有设置)
  Password:连接kafka的密码
  Topic:kafka中的topic设置
  Key:发送消息时可以指定 key,producer根据此key和partition策略来选择存入哪个partition(可用于hash计算消息发布到哪个分区)
  Partition:kafka的分发策略,有random(随机),round_robin(轮询),hash(哈希),默认是hash
Random.group_events:分发消息时对每个partition发送event的数量,默认为1(partition主要是实现负载均衡,让消息均匀的发送到多个partition中,设置为1则表示对一个partition发送一个event后开始对下一个partition发送event)
  Round_robin.group_events:同上
  Hash.hash࿱

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值