对接kafka_Splunk集成Kafka配置方法

【小宅按】Splunk是业界赫赫有名的数据分析工具，比较擅长BI和安全分析，我司很多部门都有购买其产品和服务。最近有个需求要把Splunk和分部署消息队列Kafka做个集成，Splunk官方提供的一个Kafka的插件，可以很容易的做到与开源Kafka集成，本文简单描述一下集成的配置方法。本文假设你的环境里已经搭建好了Splunk和Kafka（Splunk搭建请参考，Kafka搭建请参考）。

概述

Splunk Add-on for kafka支持三种输入

- 监控Kafka本身的日志，需要在Kafka的机器上部署Forward

- 用JMX输入来收集kafka集群的性能指标，这还需要额外安装一个Splunk Add-on for JMX来跟Kafka的JMX对接

- 与Kafka的topic对接直接消费数据，通常会把插件装在heavy forwarder上，通过他与Kafka对接

一个完整的部署架构和数据流向如下图所示，实际上前两种输入都是可选的，根据实际需求选择即可：

安装Splunk Add-on for Kafka

1. 下载插件：https://splunkbase.splunk.com/app/2935/#/overview

2. 安装插件，在Splunk主界面上点“Apps”后面的图标</