![](https://img-blog.csdnimg.cn/20190918140129601.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
Kafka
这个妹妹我见过
小菜鸡养成记
展开
-
【大数据开发】Kafka——Spark2.x中消费者LocationStrategies、ConsumerStrategies的几种方式
一、LocationStrategy大多数情况下,需要使用LocationStrategies.PreferConsistent,这会把partition平均分配到可用的executor上。如果executor和kafka的broker在同一台机器上,就要使用PreferBrokers,这样which will prefer to schedule partitions on the Kafka leader for that partition。最后,如果在partition中又严重的倾斜,使用Pref原创 2020-10-28 08:38:38 · 1140 阅读 · 0 评论 -
【大数据开发】Kafka——Kafka必知必会②
一、封装工具类下载consumer.properties、producer.properties文件到resources中二、偏移量offset三、自定义分区器原创 2020-10-22 08:57:58 · 213 阅读 · 0 评论 -
【大数据开发】Kafaka——Kafka必知必会①
所谓分区就是指的文件夹,所谓副本数就是存储多少份文章目录一、kafka在zookeeper中的元数据存储1.1官方文档和软件下载1.2启动和关闭kafka1.3 zookeeper中`/kafka-2002`目录解析二、kafka命令2.1主题帮助命令2.2列出所有主题2.3查看主题2.4修改主题2.5开启一个生产者2.6开启一个消费者2.7三、自定义3.1添加maven依赖3.2自定义生产者Producer3.3自定义消费者3.3.13.3.2四、一、kafka在zookeeper中的元数据存储.原创 2020-10-19 21:15:42 · 363 阅读 · 1 评论