学习计划 - kafka

学习目标

kafka为啥会产生？

应对实时处理需求，需要一个系统可以缓存数据，可以供多个其他程序进行读取和处理。

kafka产生了。 产生数据到kafka，应用程序可以对kafka里面的数据进行读取然后处理，而kafka仅仅是缓存数据，并对数据设置一个过期时间，这样可以做到持续运转无需人工干预，而且kafka有防单点功能，总结一句，kafka是一个提供数据存放和读取而又带有自动处理“污水”功能的蓄水池。

术语有哪些？

产生消息到kafka的叫做 producer

订阅topics以及消费kafka数据的叫做 consumer

kafka集群由一台或者多台服务器组成，每台服务器被叫做一个broker

每个topics里面的数据按照partition进行划分，consumer可以通过设置offset进行读取数据，只要数据还没有过期，因为kafka有log有效时间设置，过了之后，kafka会消灭过期的数据，free up disk。

每个topic由若干个partition组成，每个partition以及副本会分布在多个机器里面（副本数N，最多可以允许有N-1个broker挂掉），一般是3，3个partition有一台机器会作为Leader，其余两个作为Follower，跟其他分布式系统相似但也有不同，Leader partition会完成所有读写操作，而不仅仅是写操作，而Follower partition只能进行与Leader Partition进行同步，连读功能都不行！

典型应用

• 日志聚合。 很多服务器产生的日志打向kafka，进行集中存放。
• 流处理。一开始是粗糙的数据进入kafka，消费者对数据进行消费处理后把数据仍旧打进kafka，但是是另外一个topic。

深入和扩展

consumer。 一般消息系统的消费者有两种模型，一种是 queueing模型，另外一种是订阅和消费模型。 队列模型的时候，一个消息只能被一个消费者消费，然后下个消息被另外一个消费者消费，就是不可能做到一个消息被一群消费者消费。 kafka是第二种模型，但是也是支持第一种模型的哦。如果kafka的消费者们都在同一个组里面，那么就是第一种模型；如果消费者们分别在不同的组里面，那么就是第二种模型，可以做到一条消息，被多组消费者里面的消费者消费。