使用splunk for kafka connect实现连通，但是数据却没有进入splunk

已于 2022-07-06 14:56:18 修改
阅读量436 收藏 1
点赞数
分类专栏： Splunk kafka 文章标签： kafka splunk 大数据
于 2021-12-07 21:29:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/QYHuiiQ/article/details/121778827
版权
Splunk 同时被 2 个专栏收录
57 篇文章 16 订阅 ¥49.90 ¥99.00
订阅专栏 超级会员免费看
kafka
33 篇文章 3 订阅
订阅专栏
在配置Splunk与Kafka连接时遇到数据无法到达Splunk的问题。检查发现，尽管Kafka消费者能读取到数据，但在Splunk中未显示。通过查看kafka的connect.log，确定问题是由于序列化错误导致。将connect-distributed.properties中的序列化配置改为字符串类型后，数据成功流入Splunk。
摘要由CSDN通过智能技术生成

在实现splunk与kafka数据通路时，需要的配置都配了，在kafka自身的consumer中可以读取到producer发送的数据，但是数据却一直没有进到splunk。

思路：

由于在kafka的consumer中可以读到数据，但是在splunk里读不到，就说明问题很可能出在connect这一环节，所以查看kafka的connect.log(kafka_2.12-2.8.1/logs/)：

从上面的报错信息可以看出是序列化错误，想到之前在connect-distributed.properties中配置的序列化是Json的，而我在测试时发送的消息都是字符串，所以就尝试把序列化的配置改为string的，重新启动connect之后，数据就可以进到splunk里了。

key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.storage.StringConverter

QYHuiiQ
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
使用splunk for kafka connector实现splunk与kafka数据通路
QYHuiiQ
12-07 796
在前一篇博客（使用DB Connect实现oracle与splunk数据通路_QYHuiiQ-CSDN博客）中已经安装过splunk enterprise了，这里直接安装kafka。 官网下载kafka https://kafka.apache.org/downloads github上下载splunk for kafka connector的jar https://github.com/splunk/kafka-connect-splunk 在latest页面中下载jar 启动sp
对接kafka_Splunk集成Kafka配置方法
weixin_29981095的博客
01-14 274
【小宅按】Splunk是业界赫赫有名的数据分析工具，比较擅长BI和安全分析，我司很多部门都有购买其产品和服务。最近有个需求要把Splunk和分部署消息队列Kafka做个集成，Splunk官方提供的一个Kafka的插件，可以很容易的做到与开源Kafka集成，本文简单描述一下集成的配置方法。本文假设你的环境里已经搭建好了Splunk和Kafka（Splunk搭建请参考，Kafka搭建请参考）。概述Sp...
java8看不到源码-kafka-connect-splunk:Splunk的Kafka连接器
06-04
java8 看不到源码 适用于 Kafka 的 Splunk 连接 Splunk Connect for Kafka 是 Splunk 的 Kafka Connect Sink，具有以下功能： 通过 Kafka 主题将数据摄取到 Splunk 中。 飞行中数据转换和丰富。 要求 Kafka 1.0.0 及以上版本。 Java 8 及更高版本。 版本 6.5 及更高版本的 Splunk 环境，配置了有效的 HTTP 事件收集器 (HEC) 令牌。 您环境中的所有 Splunk 索引器和重型转发器上的 HEC 令牌设置应该相同。 任务配置参数将根据确认设置而有所不同（有关详细信息，请参阅 部分）。 注意：HEC 确认可防止潜在的数据丢失，但可能会减慢事件摄取。 建造 从 验证是否安装了 Java8 JRE 或 JDK。 运行mvn package 。 这将在 /target 目录中构建 jar。 名称将是splunk-kafka-connect-[VERSION].jar 。 快速开始 您的 Kafka 集群并确认它正在运行。 如果这是新安装，请创建一个测试主题（例如： perf ）。 将
客户端无法推送消息到Kafka
蜀山小师叔
07-18 746
文章目录kafka遇到的问题 kafka遇到的问题 场景：线上Java程序发送到Kafka无反应，部署环境为 A服务器为kafka服务器，B服务器为项目运行服务器 解决问题思路： 查看配置文件是否正确，如：java程序连接kafka的端口 两台服务器之间，端口是否ping通 telnet 127.0.0.1:2181 使用kafka提供的命令，查看服务器消费生产消息是否正常，正常则表示当前节点没有问题 zookeeper_address：表示ZK的ip地址和端口，如：192.168.1.29:
kafka-connect流程梳理
jc18510682557的博客
11-06 622
根据使用方式，解析connect整体流程： 1：post /connectors 创建connect KafkaConfigBackingStore.putConnectorConfig(name,config) topic : config.storage.topic -> 存储connector配置 分析：KafkaConfigBackingStore 该类持...
splunk-connect-for-ethereum:Splunk Connect以太坊
03-31
Splunk Connect for Ethereum（又名ethlogger ）使将以太坊分类帐，节点信息和节点指标的数据轻松提取到另一个系统中进行分析。 当前，它可以登录到Splunk HTTP事件收集器和stdout。 它也可以。 一些好处包括： ...
telegraf-kafka:Kafka Splunk智能监控
05-12
欢迎使用用于Kafka监控的Splunk应用程序用于Telegraf Kafka监控的Splunk应用程序为Apache Kafka组件提供了智能的洞察力监控。 请查阅在线文档： : 用于Apache Kafka的ITSI模块和Splunk核心应用程序的端到端监控利用...
splunk-connect-for-kubernetes：与kubernetes插件关联的Helm图表
02-03
Splunk Connect for Kubernetes提供了一种在Splunk平台部署中导入和搜索Kubernetes日志，对象和指标数据的方法。 Splunk Connect for Kubernetes支持使用以下技术导入和搜索容器日志： Amazon Elastic Kubernetes...
splunk 数据导入操作手册 Splunk-8.2.0-Data-zh-CN
05-31
《Splunk 数据导入操作手册》提供了详尽的指导，帮助用户了解如何在 Splunk Enterprise 8.2.0 中高效地导入和管理各种类型的数据。Splunk 是一款强大的大数据分析平台，尤其擅长处理和解析日志文件，为用户提供实时...
Kafka服务正常启动，但是消费者提示连接的是本地localhost,不能连接
HF709363456的博客
07-17 8853
在使用kafka 本地消费远程服务器的时候遇到问题， [2016-01-17 23:17:52,291] ERROR Unknown error when running consumer:  (kafka.tools.ConsoleConsumer$) java.net.UnknownHostException: localhost.9092， 127..0.01:9092 未知的名称或
splunk_forward_to_kafka
03-31
使用KSQLDB将数据从Splunk流到Kafka进行过滤，同时保留所有Splunk元数据（源，源类型，主机，事件） v1.00，2020年11月3日 TL; DR QuickStart 1. git clone https://github.com/JohnnyMirza/splunk_forward_to_kafka.git 2. docker-compose up -d 3. Configure Splunk UF’s to send to the above instance 该应用程序是一组自定义输入/转换，可让您将“未煮熟的”数据发送到apache kafka。 使用Docker-Compose启动，然后将您的UF转发到实例。 入门 提升Docker撰写能力 [来源，重击] docker-compose up -d 确保一切正常并运行 [来源，重击] #docker
splunk 中文手册.zip
09-06
splunk 7.10 官网用户手册,简体中文版,包含概述,安装手册等.
splunk分布式日志收集和搜索
04-09
分布式 搜索 日志收集分布式 搜索 日志收集分布式 搜索 日志收集
配置Splunk监视文件系统的更改
baobaoyu_的博客
07-01 687
这里写自定义目录标题配置Splunk监视文件系统的更改SplunkSplunk Forwarder测试是否配置成功 配置Splunk监视文件系统的更改 本教程主要是介绍利用Splunk Forwarder来监视并转发主机文件系统更改的Log。 Splunk 首先要在装有Splunk的主机上，利用Web splunk添加一个索引，本教程添加的索引名为change。 在需要监视的主机上安装Splunk Forwarder。 Splunk Forwarder Splunk Forwarder安装并配置教程： ht
Splunk集成Kafka配置方法
华为云官方博客
07-02 1906
【摘要】Splunk是业界赫赫有名的数据分析工具，比较擅长BI和安全分析，我司很多部门都有购买其产品和服务。最近有个需求要把Splunk和分部署消息队列Kafka做个集成，Splunk官方提供的一个Kafka的插件，可以很容易的做到与开源Kafka集成，本文简单描述一下集成的配置方法。本文假设你的环境里已经搭建好了Splunk和Kafka（Splunk搭建请参考，Kafka搭建请参考）。 #概...
Python脚本之获取Splunk数据发送到Kafka
程序园@大Null
05-09 274
Python 脚本转发 Splunk 数据到第三方目的地
kafka-splunk数据通路实践
最新发布
weixin_44988779的博客
02-05 1565
鉴于目前网络上没有完整的kafka数据投递至splunk教程，通过本文操作步骤，您将实现kafka数据投递至splunk日志系统。
splunk工具介绍（一）
weixin_34162401的博客
05-30 332
最近测试产品需要与splunk对接，顺便就安装了splunk的环境，并使用了一下。splunk是一款可以收集，索引和利用任何数据的“大数据平台”。如今互联网的普及，数据是一个大爆发的时代，对于应用程序和系统来讲会产生各种各样的数据，其中很重要的一类数据就是“LOG”。一个商店的售卖情况会产生log，一个linux系统会产生log，一个应用服务器会产生log，这些log有着自己独特的意义价值，售卖情...
splunk指定syslog来源的sourcetype
u012085379的专栏
12-17 5356
日常工作使用splunk来分析数据，由于会接收到来自不同网络设备的数据，大多由sysylog发送出来，默认端口为udp的514端口，这样就会造成数据类型sourcetype没法确定，在使用过程中只能依靠host（来源ip）来判断，如果一台设备发送不同类型的数据，就没办法区分。因此需要用splunk的配置文件来指定udp:514的sourcetype。 在$HOME/etc/apps/$APP/l
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

QYHuiiQ

听说打赏的人工资翻倍~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值