Kafka
文章平均质量分 87
分布式流处理Kafka
Keven He
一个热爱技术的大数据开发者
展开
-
Kafka的一些总结和心得
QuickyStart和概念发布/订阅模式的消息队列Brokerkafka集群中一个单独的节点,broker用来存储topic中的数据某个topic中N个partition 将会存储在N个broker上topic中N个partition,broker>N,partition将存储在N个broker上,剩下的broker不进行存储topic中N个partition,broker<N,partition进行存储,将会有broker中存储多个partitionTopic生产原创 2021-09-02 10:36:55 · 700 阅读 · 0 评论 -
Kafka概述-什么是Kafka?
Kafka是什么?传统上定义是一个分布式的基于发布/订阅模式的消息队列,主要应用在大数据实时处理场景;现在Kafka已经定义为一个分布式流平台,用于数据管道,流分析,数据集成和关键任务应用传统消息队列应用场景缓存/削峰,解耦,和异步通信。消息队列两种模式点到点发布/订阅模式kafka基础架构(1)Producer:消息生产者,就是向 Kafka broker 发消息的客户端。(2)Consumer:消息消费者,向 Kafka broker 取消息的客户端。(3)Consumer G原创 2022-04-19 12:27:20 · 1462 阅读 · 0 评论 -
Kafka高频面试题总结
1. Apache Kafka是什么?Apach Kafka是一款分布式流处理平台,用于实时构建流处理应用。它有一个核心的功能广为人知,即作为企业级的消息引擎被广泛使用(通常也会称之为消息总线message bus)。2. Kafka 的设计是什么样的?Kafka 将消息以 topic 为单位进行归纳将向 Kafka topic 发布消息的程序成为 producers.将预订 topics 并消费消息的程序成为 consumer.Kafka 以集群的方式运行,可以由一个或多个服务组成,每个服务叫原创 2022-04-19 12:34:02 · 1257 阅读 · 0 评论 -
Kafka的架构
一、Kafka的架构如上图所示,一个典型的Kafka集群中包含若干Producer(可以是web前端产生的Page View,或者是服务器日志,系统CPU、Memory等),若干broker(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干Consumer Group,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到bro原创 2022-04-19 12:48:08 · 4298 阅读 · 0 评论 -
Kafka的高可用
一、高可用的由来为什么需要ReplicationLeader 选举如何将所有Replica均匀分布到整个集群Data Replication(副本策略)adminbrokercontroller消息路由写入流程存储方式存储策略创建topic删除topic为什么需要Replication在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费,这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同原创 2022-04-19 13:08:11 · 1824 阅读 · 0 评论