Kafka
分享Kafka学习相关内容,以及在工作中遇到的Kafka相关问题
程序员X小鹿
前互联网大厂程序员/AIGC爱好者/自由职业2年+
展开
-
Kafka整合Spark Streaming之Direct模式
Kafka整合Spark Streaming的两种模式:Receiver模式和Direct直连模式。现在在生产中,一般都会选择Direct直连模式来进行Kafka和Spark Streaming的整合,而在生产中,遇到最多的两个问题就是丢数据和重复读的问题。本篇将重点介绍Direct模式,讲述Direct模式的原理,以及Direct模式存在的问题和相关的解决办法。原创 2020-03-15 17:15:20 · 855 阅读 · 0 评论 -
Kafka整合Spark Streaming —— Receiver模式
Kafka整合Spark Streaming的两种模式:Receiver模式和Direct直连模式。本篇先来介绍Receiver模式,讲述Receiver模式的原理,以及Receiver模式存在的问题和相关的解决办法。虽然在生产中,一般都会选择Direct直连模式来进行Kafka和Spark Streaming的整合,甚至在新版中已经将Receiver模式拿掉了,但了解一下总归是没有坏处的。如果想直接了解Direct模式,请看下篇 Kafka整合Spark Streaming之Direct模式原创 2020-03-15 17:03:59 · 378 阅读 · 0 评论 -
Kafka(四)—— Kafka集群部署
本文主要讲述Kafka在集群上的部署,以及Kafka常用的命令和配置参数相关说明。原创 2020-03-14 22:05:00 · 227 阅读 · 0 评论 -
Kafka(三)—— Kafka消费过程分析
消息由生产者发布到Kafka集群后,会被消费者消费。消息的消费模型有两种:推送模型(Push)和拉取模型(Pull)。原创 2020-03-14 18:37:22 · 377 阅读 · 0 评论 -
Kafka(二)—— Kafka生产过程分析
Kafka工作流分析:如果 replication-factor 设成了3,则topic A 的所有Partition都有三个副本。Producer的时候,只写主的Partition,即只往Leader里写,剩下两个Follower,Leader到Follower之间的数据,都是由Kafka内部同步的。备份完成之后,Kafka会告诉Producer,写入成功了。Consumer在消费的时候,也是只从Leader消费。原创 2020-03-14 17:30:52 · 269 阅读 · 0 评论 -
Kafka(一)—— Kafka介绍
Kafka是开源消息系统。最初由 LinkedIn 公司开发,2011年开源,2012年10月从 Apache 毕业。项目目标是为处理实时数据,提供一个统一、高通量、低等待的平台。本文主要引入Kafka的一些相关概念及Kafka架构。原创 2020-03-14 16:42:54 · 485 阅读 · 0 评论