![](https://img-blog.csdnimg.cn/e371c2205efe45ce9ea5b733f365d42a.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
文章平均质量分 94
Kafka是一种高吞吐量的分布式发布订阅消息系统
寧三一
到最后,我没成为至尊宝,也没成为紫霞,而是成为了城墙下的那群人,看着别人的爱情,咀嚼着自己的青春
展开
-
Kafka 消费者数据安全(RangeAssignor,RoundRobinAssignor, StickyAssignor分配策略)
消费者数据安全说明:所有流程图均来自:Kafka 消费者数据安全策略流程图一、消费方式说明1、Consumer 采用 Pull(拉取)模式从 Broker 中读取数据。Consumer 采用 Push(推送)模式,Broker 给 Consumer 推送消息的速率是由 Broker 决定的,很难适应消费速率不同的消费者。它的目标是尽可能以最快速度传递消息,但是这样很容易造成 Consumer 来不及处理消息,典型的表现就是拒绝服务以及网络拥塞2、而 Pull 模式则可以根据原创 2021-12-03 18:59:33 · 1188 阅读 · 1 评论 -
Kafka 生产者数据安全(ACK机制,ACK时机,ACK应答机制,故障处理,Exactly Once)
生产者数据安全一、数据分区图解分区原因1、方便在集群中扩展,每个 Partition 可以通过调整以适应它所在的机器2、一个 Topic 又可以有多个 Partition 组成,因此可以以 Partition 为单位读写了‘3、可以提高并发,因此可以以 Partition 为单位读写分区原则将 Producer 发送的数据封装成一个 ProducerRecord 对象。对象包含:topic:string 类型,NotNull。partition:int 类型,可选。tim原创 2021-12-01 11:58:16 · 1906 阅读 · 1 评论 -
Kafka系统架构( Broker,Topic, Partition,Replication)
Kafka系统架构一、Broker 服务器节点概念Kafka 集群包含一个或多个服务器,服务器节点称为broker描述就是Kafka集群replication的名称二、Topic 主题|消息类别概念每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic描述1、在Kafka 中一张表就是一个主题2、类:table index3、将来会根据业务的不同创建不同的主题4、创建流程:首先创建主题,然后选择 Partition和Replication说原创 2021-11-30 20:30:46 · 4515 阅读 · 1 评论 -
什么是Kafka
什么是Kafka网址: Kafka 官网描述:Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。Kafka的优点1、解耦:允许我们独立的扩展或修改列两边的处理过程2、扩展性: 因为消息队列解耦了你的处理过程,所以增大消息入队和处理的频率是很容易的,只要另外增加处理过程即可。3、流量削峰:高流量的时候,使用消息队列作为中间件可以将流量的高峰保存在消原创 2021-11-28 15:06:06 · 4594 阅读 · 0 评论