![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
Lyzxii
积累,进步;
展开
-
SpringBoot整合Kafka
SpringBoot整合Kakfapom.xml文件引入kafka相关依赖<dependencies> </dependency> <dependency> <groupId>org.springframework.kafka</groupId> <artifactId...原创 2019-12-25 13:27:40 · 757 阅读 · 0 评论 -
Kafka消费者(四)
Kafka中的offset对于 Kafka 中的分区而言,它的每条消息都有唯一的 offset,用来表示消息在分区中对应的位置。对于消费者而言,它也有一个 offset 的概念,消费者使用 offset 来表示消费到分区中某个消息所在的位置。为了区分,对于消息在分区中的位置,我们将 offset 称为“偏移量”;对于消费者消费到的位置,将 offset 称为“位移”或者“消费位移”。...原创 2019-12-17 21:00:09 · 1174 阅读 · 0 评论 -
Kafka的介绍和安装(一)
初识KafkaKafka 起初是由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统,现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如 Cloudera、Storm、Spark...原创 2019-08-27 11:00:06 · 314 阅读 · 0 评论 -
Kafka的生产者(二)
Kafka的历史变迁在 Kafka 的历史变迁中,一共有两个大版本的生产者客户端:第一个是于 Kafka 开源之初使用 Scala 语言编写的客户端,;第二个是从 Kafka 0.9.x 版本开始推出的使用 Java 语言编写的客户端,它弥补了旧版客户端中存在的诸多设计缺陷。虽然 Kafka 是用 Java/Scala 语言编写的,但这并不妨碍它对于多语言的支持,在 Kafka 官网中,...原创 2019-09-29 11:45:24 · 1666 阅读 · 0 评论 -
Kafka的消费者(三)
消费者和消费组消费者(Consumer)负责订阅 Kafka 中的主题(Topic),并且从订阅的主题上拉取消息。与其他一些消息中间件不同的是:在 Kafka 的消费理念中还有一层消费组(Consumer Group)的概念,每个消费者都有一个对应的消费组。当消息发布到主题后,只会被投递给订阅它的每个消费组中的一个消费者。消费者和消费组与分区的关系如上图,某个主题中共有4个分区(P...原创 2019-09-30 11:22:10 · 1041 阅读 · 0 评论