Kafka
大数据-刘耀文
这个作者很懒,什么都没留下…
展开
-
Kafka常见问题
kafka常见问题 目录: 1、如果想消费已经被消费过的数据 2、如何自定义去消费已经消费过的数据 3、kafka partition和consumer数目关系 4、kafka topic 副本问题 5、kafka如何设置生存周期与清理数据 6、zookeeper如何管理kafka 7、SparkStreaming之Kafka的Receiver和Direct方式讲解 1、如果想消费已经被消费过的数...原创 2019-02-23 11:54:55 · 456 阅读 · 0 评论 -
streaming消费kafka的两种方式Receiver/Direct优缺点
streaming消费kafka的两种方式的优缺点的总结 Receiver方式: Receiver从Kafka中获取数据都是存储在Spark Executor内存中的,然后Spark Streaming启动的job会去处理那些数据。 优点:操作简单方便,不用自己管理offset。 缺点:各方面都不如Direct方式。 Direct方式: 它会周期性的查询kafka,来获取每个topic + par...原创 2019-02-23 16:18:11 · 1464 阅读 · 0 评论