Kafka
灵佑666
这个作者很懒,什么都没留下…
展开
-
Kafka消费数据的几种方式
https://blog.csdn.net/a2011480169/article/details/82795157 https://blog.csdn.net/wangshuminjava/article/details/80263512 一、按照topic和分区消费的划分:按照topic消费与按照topic分区消费 1、指定多主题消费 consumer.subscribe(Arr...原创 2019-12-18 11:04:35 · 3458 阅读 · 0 评论 -
Kafka Shell基本命令(包括topic的增删改查)
转载请注明出处:http://www.cnblogs.com/xiaodf/ 创建kafka topic 查看所有topic列表 查看指定topic信息 控制台向topic生产数据 控制台消费topic的数据 查看topic某分区偏移量最大(小)值 增加topic分区数 删除topic,慎用,只会删除zookeeper中的元数据,消息文件须手动删除 查看topic消费进度 ...转载 2019-05-20 19:16:40 · 666 阅读 · 0 评论 -
SparkStreaming消费kafka
https://www.jianshu.com/p/667e0f58b7b9转载 2019-05-22 23:34:47 · 183 阅读 · 0 评论 -
mysql管理kafka偏移量
import java.lang import Utils.OffsetManager import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.SparkConf import org.apache.spark.streaming.kafka010._ import org.ap...原创 2019-06-26 22:13:49 · 520 阅读 · 0 评论 -
spark.streaming.kafka.maxRatePerPartition 计算规则
spark.streaming.kafka.maxRatePerPartition这个参数是控制吞吐量的,一般和spark.streaming.backpressure.enabled=true一起使用。那么应该怎么算这个值呢。 如例要10分钟的吞吐量控制在5000,0000,kafka分区是10个。 spark.streaming.kafka.maxRatePerPartition=8400...原创 2019-07-08 01:20:10 · 1431 阅读 · 0 评论