大数据-玩转数据-kafka
文章平均质量分 93
人猿宇宙
大数据\项目管理
展开
-
大数据-玩转数据-kafka集群部署
Kafka 是一个分布式的基于发布/订阅模式的消息队列(MQ,Message Queue),主要应用于大数据实时处理领域。原创 2023-11-14 19:59:38 · 322 阅读 · 0 评论 -
大数据-玩转数据-Kafka安装
大数据-玩转数据-Kafka安装一、概念Kafka是一种高吞吐量的分布式发布订阅消息系统。Broker:集群中包含一个或多个服务器Topic:每条发布到Kafka集群的消息都有一个类别,这个类别叫Topic。Partition:每个Topic包含一个或多个PartitionProducer:负责发送消息到BrokerConsumer:消息消费者Consumer Group:消息消费者群二、Kafka下载注意下载的版本要与Scala版本号一致。查看本系统安装的Spark-Scala版本原创 2022-01-11 20:28:56 · 322 阅读 · 0 评论 -
大数据-玩转数据-Kafka实战
在消费者消费消息时,kafka使用offset来记录当前消费的位置,在kafka的设计中,可以有多个不同的group来同时消费同一个topic下的消息,如有两个不同的group同时消费,他们的的消费的记录位置offset各不相同,不互相干扰。:kafka的存储,不得不提到分区,即partitions,创建一个topic时,同时可以指定分区数目,分区数越多,其吞吐量也越大,但是需要的资源也越多,同时也会导致更高的不可用性,kafka在接收到生产者发送的消息之后,会根据均衡策略将消息存储到不同的分区中。原创 2022-12-25 18:33:07 · 1109 阅读 · 0 评论