![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 94
J.King
这个作者很懒,什么都没留下…
展开
-
kafka 副本数据同步原理和数据丢失解决方案
副本的协同机制请移步:kafka 消息分发机制、分区和副本机制(三、分区的副本机制)副本还有一个重要的机制,就是数据同步过程,它需要解决怎么传播消息在向消息发送端返回 ack 之前需要保证多少个 Replica 已经接收到这个消息一、 副本的结构深红色部分表示 test_replica 分区的 leader 副本,另外两个节点上浅色部分表示 follower 副本二、 数据的处理过程Producer 在发布消息到某个 Partition 时:先通过 ZooKeeper 找到该 Pa原创 2022-04-20 23:38:31 · 3835 阅读 · 1 评论 -
kafka 消息分发机制、分区和副本机制
一、消息分发机制1.1 kafka 消息分发策略消息是 kafka 中最基本的数据单元,在 kafka 中,一条消息由key、value两部分构成,在发送一条消息 时,我们可以指定这个key,那么 producer 会根据 key 和partition 机制来判断当前这条消息应该发送并 存储到哪个 partition 中。我们可以根据需要进行扩展 producer 的 partition 机制。代码示例可移步:kafka 应用实战的第五点自定义分区(Partitioner)1.2、消息默认的分发机制原创 2022-04-17 17:58:26 · 5587 阅读 · 0 评论 -
kafka 入门概念和架构,以及应用场景
一、Kafka 简介Kafka 是 linkedin 使用 Scala 编写具有高水平扩展和高吞吐量的分布式消息系统。Kafka 对消息保存时根据 Topic 进行归类,发送消息者成为 Producer ,消息接受者成为 Consumer ,此外 kafka 集群有多个 kafka 实例组成,每个实例(server)称为 broker。无论是 Kafka集群,还是 producer 和 consumer 都依赖于 zookeeper 来保证系统可用性,为集群保存一些 meta 信息。二、mq 对比原创 2022-04-10 22:55:21 · 3118 阅读 · 1 评论 -
kafka 应用实战
一、Java 中使用 kafka 进行通信依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.0.0</version></dependency>发送端代码public class MyKafkaProducer extends Thread{原创 2022-04-14 00:41:54 · 4922 阅读 · 0 评论