Kafka
Atomatom98
但行好事 莫问前程
展开
-
Kafka学习-----Kafka生产者:分区策略和可靠性保障
目录一.Kafka分区策略1.分区原因2.分区的原则二.Kafka数据可靠性保证1.副本同步策略?2.ISR----防止LEADER挂掉3.ACK应答机制4.故障处理,LEO,HW是什么一.Kafka分区策略1.分区原因方便在集群中扩展,每个 Partition 可以通过调整以适应它所在的机器,而一个 topic又可以有多个 Partition 组成,因此整个集群就可以适应任意大小的数据了;可以提高并发,因为可以以 Partition 为单位读写了。2.分区的原则需要将 produc原创 2020-12-19 19:20:53 · 243 阅读 · 0 评论 -
Kafka学习-----Kafka消费者Consumer:消费方式,分区分配策略,Range&RoundRobin
目录一.Kafka分区策略1.分区原因2.分区的原则一.Kafka分区策略1.分区原因方便在集群中扩展,每个 Partition 可以通过调整以适应它所在的机器,而一个 topic又可以有多个 Partition 组成,因此整个集群就可以适应任意大小的数据了;可以提高并发,因为可以以 Partition 为单位读写了。2.分区的原则需要将 producer 发送的数据封装成一个 ProducerRecord 对象 ![在这里插入图片描述](https://img-blog.cs原创 2020-11-08 10:57:49 · 968 阅读 · 0 评论 -
Kafka学习-----文件存储机制和分片索引
目录一.Kafka工作流程1.整体架构2.需要注意⚠️:二.分片索引机制示例:如何找到对应offset的Message消息呢三.总结一.Kafka工作流程1.整体架构消息交互两方分别是生产者Producer和消费者Consumer,Kafka集群Cluster中,有三个broker,类似于三个实例。其中针对同一个Topic A有三个不同分区Partition,每个都有自己的follower(备份用)。2.需要注意⚠️:Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消原创 2020-10-31 12:22:40 · 524 阅读 · 0 评论 -
Kafka学习-----概述:MQ,定义,基础架构
目录一.什么是Kafka1.定义2.什么是MQMQ的好处二.消息队列两种模式三.消息队列基础架构一.什么是Kafka1.定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于 大数据实时处理领域。特征:Kafka作为一个集群,运行在一台或者多台服务器上.Kafka 通过 topic 对存储的流数据进行分类。每条记录中包含一个key,一个value和一个timestamp(时间戳)。2.什么是MQ“消息队列”是在消息的传输过程中保存消息原创 2020-10-07 22:49:26 · 432 阅读 · 0 评论