在监控系统中经常用到kafka来处理数据,上层平台会从kafka直接取数据进行分析,今天分享下metricbeat监控的数据如何输出到kafka中,并对各配置项进行详细说明。
metricbeat环境搭建点这里
kafka环境搭建点这里
-在metricbeat配置文件中配置output为kafka
output.kafka:
# initial brokers for reading cluster metadata
hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]
# message topic selection + partitioning
topic: '%{[type]}'
partition.round_robin:
reachable_only: false
required_acks: 1
compression: gzip
max_message_bytes: 1000000
配置说明:
Username:连接kafka的用户名(如果kafka有设置)
Password:连接kafka的密码
Topic:kafka中的topic设置
Key:发送消息时可以指定 key,producer根据此key和partition策略来选择存入哪个partition(可用于hash计算消息发布到哪个分区)
Partition:kafka的分发策略,有random(随机),round_robin(轮询),hash(哈希),默认是hash
Random.group_events:分发消息时对每个partition发送event的数量,默认为1(partition主要是实现负载均衡,让消息均匀的发送到多个partition中,设置为1则表示对一个partition发送一个event后开始对下一个partition发送event)
Round_robin.group_events:同上
Hash.hash