kafka
文章平均质量分 95
职场江湖指北
关注公众号「职场江湖指北」,解答更多offer选择问题!
展开
-
kafka学习笔记(四):源码角度理解metadata
Kafka更新metadata的总体流程Kafka集群元数据Kafka每个Topic中有多个分区,这些分区的Leader副本可以分配在集群中不同的Broker上。我们站在生产者的角度来看,分区的数量以及Leader副本的分布是动态变化的。通过简单的示例说明这种动态变化:在运行过程中,Leader副本随时都有可能出现故障进而导致Leader副本的重新选举,新的Leader副本会在其他Broker上继续对外提供服务。当需要提高某Topic的并行处理消息的能力时,我们可以通过增加其分区的数量来实现。当然,还原创 2021-10-18 01:17:11 · 1107 阅读 · 0 评论 -
Kafka学习笔记(三):使用Java进行Producer 开发
上一篇文章中,我们了解到了Kafka中的特有术语以及topic的相关概念,详细内容可以参考 kafka学习笔记(二):理解Kafka集群与Topic。接下来我们将使用 Java 语言调用 Kafka的相关 API,今天首先了解一下对于Producer的相关操作。添加依赖首先我们添加maven依赖,包括下面两个依赖 <dependency> <groupId>org.apache.kafka</groupId>原创 2021-10-16 01:45:16 · 1305 阅读 · 0 评论 -
Kafka学习笔记(二):理解Kafka集群与Topic
上一篇博客中,我们初步了解了Kafka实质上是一个消息队列,具有异步、解耦、削峰的作用并且在mac环境下安装了Kafka相关环境,具体可以参考https://blog.csdn.net/BlueLotuss/article/details/120755867?spm=1001.2014.3001.5502。今天我们将以实战的方式深入理解 Kafka 集群的基本组件和专有术语 broker、topic、producer、consumer、partition等。从上节课的实验,我们了解了 Kafka 的基本架原创 2021-10-14 23:20:47 · 2222 阅读 · 0 评论 -
Kafka学习笔记(一):Kafka简介与mac下的环境配置
kafka目前与很多大数据框架比如spark、flink进行对接,另外在很多业务系统中通过存放上游日志信息供下流拉取的作用。之前在实习的资金中台部门中,部门的的计费系统通过拉取kafka存放applog中的计费事件,通过spark streaming的流式处理对计费事件按广告主进行聚合,再进行接下来的实时计费的流程。kafka在业界的使用非常广泛,之前一直没有深入了解其中的原理,于是目前打算写一系列的博客来对kafka进行学习,同时也希望能够和大家一起学习交流。Kafka简介Kafka 是一个分布式的原创 2021-10-14 01:22:43 · 700 阅读 · 2 评论