kafka
FunySunny
珍惜每时每刻
展开
-
Confluent's Golang Client for Apache Kafka
注:LinkedIn有个三人小组出来创业了—正是当时开发出Apache Kafka实时信息列队技术的团队成员,基于这项技术Jay Kreps带头创立了新公司Confluent。Confluent的产品围绕着Kafka做的。什么是Confluent Platform?Confluent Platform 是一个流数据平台,能够组织管理来自不同数据源的数据,拥有稳定高效的系统。 Conf...原创 2018-02-08 14:37:08 · 1196 阅读 · 0 评论 -
Spark-Kafka kafka.common.OffsetOutOfRangeException
问题描述国庆前启动spark streaming任务去消费了kafka,后来由于其他原因停止了,放假回来后,重启spark任务后,报kafka.common.OffsetOutOfRangeException,期初我以为是ZK重启造成的就换了个group.id正常了,今天看到一篇文章才知道真实的原因kafka会定时清理日志当我们的任务开始的时候,如果之前消费过某个topic,那么这个topic会在...转载 2018-04-13 08:41:08 · 5593 阅读 · 0 评论 -
SparkStreamingj集成Kafka的几个重要参数
在做kafka流处理过程中,第一次启动时数据量非常大,导致程序崩溃,看了这篇博文后进行优化后程序正常执行特别感谢原创作者的奉献:https://blog.csdn.net/u010454030/article/details/54629049使用SparkStreaming集成kafka时有几个比较重要的参数:(1)spark.streaming.stopGracefullyOnShutdown ...转载 2018-04-26 14:52:10 · 392 阅读 · 0 评论