kafka
kafka相关内容
古笑来
愿今日之所作,可为君行一时方便!
展开
-
kafka面试相关问题
原创 2021-10-26 18:02:01 · 75 阅读 · 0 评论 -
kafka消息零丢失方案
exactly one = least-once(-1、全写) + 幂等性(去重) exactly-one是要保证 生产者只生产一次、kafka只存储一份数据、消费者只消费一次数据 我们在切片的场景下,kafka分区全写保证least-once,消费者通过业主唯一标识保证这个幂等性。这样生产者可以重复生产,kafka可以数据重复,消费者可以重复消费。 kafka消息丢失怎么解决? exit-one 生产者到mq 消息发出去了,等到消息的ack,再向下进行。消息发送成功。 消息发出去了,应用死了,ack也回.原创 2021-10-26 18:01:01 · 561 阅读 · 0 评论 -
kafka解决消息积压
消息积压怎么解决? 增加消费者,知道和partition数量一样。partition不够,增加topic并起足够多的partition,启动多个消费者,快速消费旧partition,并导入新的partition,再起足够多的消费者,消费这个新的topic。 ...原创 2021-10-26 18:00:05 · 1156 阅读 · 0 评论 -
kafka如何保证消息的有序性
消息的顺序怎么保证? 将需要有序的消息,生产到同一个partition,而消费着也消费这一个partition原创 2021-10-26 17:59:27 · 780 阅读 · 0 评论 -
kafka
每个应用是一个broker 每个broker中可以注册多个topic 每个topic中又可以有多个分区 topic-1、topic-2、topic-3、topic-4 每个分区又可以有多个副本,但不能超过broker的个数 这些副本中只有一个是lead,其余是follow 生产者可以指定topic去生产,消费者也可以指定topic去消费。假如一个topic下有多个partition,它的写是根据负载情况去写入的;消费者也不能去顺序消费。 每一个分区(partition)中消息都是有序的,而kafka也只.原创 2021-10-26 17:58:15 · 355 阅读 · 0 评论 -
kafka消息的有序性
消息的顺序怎么保证? 将需要有序的消息,生产到同一个partition,而消费着也消费这一个partition原创 2021-10-26 17:55:50 · 398 阅读 · 0 评论 -
kafka快的原因
kafka把数据都存在文件里为什么能这么快? 顺序写磁盘,索引文件,nio,零拷贝 多生产者,多消费者,多patation,并行写,并行读 消费消息的时候,消费者可以通过group + topic + partition 可以确定唯一一个offset kafka将数据存在文件里,查询速度还是很快的原因。通过offset定位index文件,在根据固定大小的行快速找到对应的行,这一行中存储着offset这条数据的起始便宜量和数据大小,然后去log中直接读取这块数据。 ...原创 2021-10-25 18:52:48 · 202 阅读 · 0 评论 -
kafka的事务
生产者事务:可以保证精准写入(只写入一次,重启也不会重复写入,kafka中不会数据重复) 消费者事务:可以保证精准消费原创 2021-10-25 18:52:06 · 62 阅读 · 0 评论 -
kafka集群
cluster集群架构添加链接描述 Producer:Producer即生产者,消息的产生者,是消息的入口。 kafka cluster: Broker:Broker是kafka实例,每个服务器上有一个或多个kafka的实例,我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号,如图中的broker-0、broker-1等…… Topic:消息的主题,可以理解为消息的分类,kafka的数据就保存在topic。在每个broker上都可以创建多原创 2021-10-25 18:49:14 · 155 阅读 · 0 评论