go 使用sarama写入kafka数据时间戳问题

最新推荐文章于 2022-01-16 10:12:37 发布
最新推荐文章于 2022-01-16 10:12:37 发布
阅读量584 收藏
点赞数
分类专栏： go kafka 文章标签： go
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yizhiniu_xuyw/article/details/109250164
版权
kafka 同时被 2 个专栏收录
23 篇文章 3 订阅
订阅专栏
go
10 篇文章 0 订阅
订阅专栏

 

查看消息时间戳的命令：
kafka-console-consumer --bootstrap-server localhost:9092 --property print.timestamp=true --topic test --from-beginning
发现sarama生产者推送到kafka的CreateTime均为-1。而命令行推送到kafka的时间戳正常。

原因：
sarama默认支持的是0.8.2的kafka版本，而timestamp的支持是从0.10版本开始的。因此需要初始化生产者配置时指定一下kafka的版本。

kfkConf := sarama.NewConfig()
kfkConf.Version = sarama.V0_10_0_0
一只牛_007
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
golang如何使用sarama访问kafka
09-19
主要介绍了golang如何使用sarama访问kafka，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
golang结合Kafka消息队列实践(二)
jeffrey11223的博客
06-15 6839
上周分享了如何使用go来对kafka进行生产和消费，这周接着对kafka消息队列的一些特性来进行使用。 上次讲到kafka有个consumer group的概念，而我们使用的sarama并没有支持，所以这次引入sarama-cluster项目 : go get “github.com/bsm/sarama-cluster” producer的代码不变，参考上一篇文章，consumer的代码改为...
【golang】go 使用sarama写入kafka数据时间戳问题
Catastrophe
09-18 920
查看消息时间戳的命令： kafka-console-consumer --bootstrap-server localhost:9092 --property print.timestamp=true --topic test --from-beginning 发现sarama生产者推送到kafka的CreateTime均为-1。而命令行推送到kafka的时间戳正常。 原因： sarama默认支持的是0.8.2的kafka版本，而timestamp的支持是从0.10版本开始的。因此需要初始化生产者配置时指
golang 实现kafka延迟队列(github.com/Shopify/sarama@v1.26.1)
qq_43426271的博客
03-17 1073
golang 实现kafka延迟队列 Flag 基于github.com/Shopify/sarama v1.26.1 版本很重要 与 v1.24.1有很大不同 golang 实现的Kafka 延迟队列没有找到，自己弄个； 先开个头 const ( second = 1 minute = 60 * second hour = 60 * minute sleepBaseSecond = 5 // 5s 不能太长，grateful stop sl
Docker中安装kafka
小男孩tom的博客
01-16 1670
docker 安装kafka
delay-queue:golang实现github.comShopifysarama实现kafka延迟幅度
03-19
延迟队列 golang实现github.com/Shopify/sarama实现kafka延迟幅度 标记立起来；代码码起来；有时间了整理下代码； 有人关注再贴代码； 部署 docker-compose部署单机kafka
golang kafka sarama 消费者组
01-20
在Golang中，使用Sarama库来与Apache Kafka交互是一种常见的实践。Sarama是一个开源的Go语言客户端，提供了全面的功能，包括生产者、消费者、Admin操作等。本篇文章将详细探讨如何创建一个Sarama消费者组以及相关...
使用netty实现TCP长链接消息写入kafka以及kafka批量消费数据
07-20
标题"使用netty实现TCP长链接消息写入kafka以及kafka批量消费数据"揭示了这个项目的核心内容：通过Netty接收TCP长连接的数据，并将这些数据存储到Kafka中，同时利用Kafka的批量消费功能对数据进行处理。下面我们将...
sarama:Sarama 是 Apache Kafka 0.8 及更高版本的 Go 库-开源
08-10
Sarama 是 MIT 许可的 Go 客户端库，适用于 Apache Kafka 0.8 版（及更高版本）。 API 文档和示例可通过 godoc 获得。 Sarama 提供“2 个版本 + 2 个月”的兼容性保证：我们支持 Kafka 和 Go 两个最新的稳定版本，...
Sarama是Apache Kafka 0.8及更高版本的Go库。-Golang开发
05-26
sarama Sarama是MIT许可的Apache Kafka 0.8版（及更高版本）的Go客户端库。 可通过godoc获得入门API文档和示例。 模拟sarama中提供了用于测试的模拟程序。Sarama是MIT许可的Apache Kafka版本0.8（及更高版本）的Go客户端库。 可通过godoc获得入门API文档和示例。 模拟子包中提供了用于测试的模拟程序。 examples目录包含更详尽的示例应用程序。 tools目录包含可用于测试，诊断和检测的命令行工具。 您可能还需要查看常见问题。 兼容性和API
Kafka(Go)教程(六)---sarama 客户端 producer 源码分析
探索云原生
09-20 1725
来自：指月 https://www.lixueduan.com 原文：https://www.lixueduan.com/post/kafka/06-sarama-producer/ 本文主要通过源码分析了 Kafka Go sarama 客户端生产者的实现原理，包括消息分发流程，消息打包处理，以及最终发送到 Kafka 等具体步骤，最后通过分析总结出的常见性能优化手段。 本文基于 sarama v1.29.1 1. 概述 Kafka 系列相关代码见 Github 具体流程如下图： Sarama
kafka为什么有的消息的时间戳的值是-1
程序猿的樊笼
01-14 1908
​kafka消息的格式有多个版本，在老版本中，是没有时间戳这个字段的。 按照文档说明，在0.11之前的版本中，消息的发送和存储都是在消息集合中，每条消息都有相关元数据信息，这时候消息格式有两个版本：版本0和版本1，如下：
KafkaStream时间戳问题CreateTime = -1引起的程序中断
共享，共进步
08-24 936
KafkaStream时间戳问题CreateTime = -1引起的程序中断 Exception in thread “app-8835188a-e0a0-46da-ac2a-6820ec197628-StreamThread-1” org.apache.kafka.streams.errors.StreamsException: Input record ConsumerRecord(topic = raw_103, partition = 1, offset = 7032668, CreateTime
kafka单节点创建 topic 超时
weixin_42133361的博客
11-18 6519
kafka单节点创建 topic 超时 单节点kafka创建topic时报错：Timed out waiting for a node assignment. Call: createTopics 经过检查是因为server.properties 配置文件的问题 找到listeners=PLAINTEXT://localhost:9092 这一行之后注释掉，然后重启kafka即可。 ...
利用sarama包使用kafka
IuSpet的博客
07-01 1907
代码仓库 官方文档 sarama提供了纯Go编写的kafka客户端，最新发行版本支持Go和Kafka的最新两个版本 生产者 sarama提供异步生产者和同步生产者 异步生产者用管道接受信息，并且在背后异步地生产消息。异步生产者会尽可能的提高效率，是sarama推荐的选择 同步生产者提供一个阻塞的方法，直到消息被确认成功生产。显然效率上肯定不如异步生产者，且在某些配置中，确认的消息仍会丢失 type AsyncProducer type AsyncProducer interface { // 关闭
Kafka的主题常用命令
CyAurora的博客
08-21 1000
Kafka常用命令 #启动ZK ./bin/zookeeper-server-start.sh ./config/zookeeper.properties #启动Kafka ./bin/kafka-server-start.sh ./config/server.properties #创建主题 kafka-topics.sh --zookeeper localhost:2181 --create --topic test --partitions 1 --replication-facto...
kafka常用命令
sunny05296的博客
08-30 2714
kafka常用命令 查看topic列表 bin/kafka-topics.sh --zookeeper kafkanode1:2181 --list 查看指定topic信息 bin/kafka-topics.sh --zookeeper kafkanode1:2181 --describe --topic test-20180830-1732 命令行终端向topic生产数据 bin/kafk...
Kafka入门教程 Golang实现Kafka消息发送、接收
热门推荐
tflasd1157的博客
08-23 5万+
一：核心概念 kafka是消息中间件的一种，是一种分布式流平台，是用于构建实时数据管道和流应用程序。具有横向扩展，容错，wicked fast（变态快）等优点。 kafka中涉及的名词： 消息记录(record): 由一个key，一个value和一个时间戳构成，消息最终存储在主题下的分区中, 记录在生产者中称为生产者记录(ProducerRecord), 在消费者中称为消费者记录(Consu...
3.【kafka运维】Topic的生产和消费运维脚本
石臻臻的杂货铺(szzdzhp001)
08-02 9393
文章目录1.Topic的发送kafka-console-producer.sh2. Topic的消费kafka-console-consumer.shMore 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 1.Topic的发送kafka-console-producer.sh 4.1 生产无key消息 ## 生产者 bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --top
kafka按时间戳存贮
最新发布
05-19
Kafka支持按时间戳存储消息，这个特性叫做“时间戳索引”（Timestamp Index）。时间戳索引可以让Kafka在消息的生命周期中维护消息的时间戳，包括消息的...因此，在使用时间戳索引时需要考虑数据量和性能等方面的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值