Kafka相关知识整理

Kafka

kafka是一个分布式发布、订阅模式的消息队列，主要用于大数据的实时处理

kafka订阅模式：

kafka中同一个组可以有多个消费者，但是一条消息只能被当前组的一个消费者消费。

发布订阅模式消费完的消息不会被删除，因为存储在物理磁盘。

kafka基础架构：

broker：kafka集群每一个节点都叫做 broker cluster：集群

topic：主题（生产者和消费者都是面向主题开发的），内部有分区，会把它散落到不同的节点（海量数据存储、容错）

1.主题的数据不写到hdfs，如何容错

broker里的partition能做备份（有副本）

2.海量数据的存储--------分块存储

topic分区：leader、follower

生产者和消费者都是对leader来说的，生产者生产的数据发送给leader消费者消费数据找leader，follower只从leader同步数据（找leader同步数据，leader发生了故障要做故障的转移）。一个分区只能被一个消费者消费。

生产者、消费者、消费者组（消费者组内的每个消费者负责消费不同的分区，一个分区只能被同一个消费者组中的一个消费者所消费，但是消费者组之间不影响）

kafka数据文件大小是动态变化的。

kafka的安装及基本使用

• 1、压缩包拷贝到集群

• 2、解压压缩包到app下<