数据中心技术笔记
Kafka 是什么
Kafka
有人说kafka在使用上就像一个快递站,上游生产者发送数据给它存放,下游的消费者随时可以读取数据,不用考虑发送速率跟消费速率之间的匹配问题,发送的快了,kafka就存多一会儿。刚开始接触kafka的我,感觉形容的很贴切,但随着使用的经验增加,渐渐感觉这个比喻其实还不太准确。要我说,kafka更像是印刷厂,上游发布了一份消息到kafka里,kafka实际上是会把消息持久化下来的,相当于刻了个模板,下游来一个消费者A,kafka就印一份消息给他,A第二次来,kakfa就接着他上次的消息印后续的消息给他。但是如果来的是第二个消费者B,kakfa是认得的,会从头开始打印一份消息给这个新人。
意识到kafka这个特性,是从一个叫分组的属性开始的。
这个分组是指的消费者的分组,Consumer Group,同一个分组从kafka消费数据,kafka每次都会拿最新的给消费者,不论这个消费者是不是同一个ip,这样便保证了分布式的消费者与kafka的兼容性。而使用一个另外的Consumer Group来消费数据,kakfa会从第一条数据开始返回。利用这个特性,我们可以将同一批数据提供给不同的服务,或者单纯是引流到测试环境来做验证等,因为只要分组不同,就不会影响既有的消费者使用。
使用kafka时关注的另一个问题,是kafka是否有序。
要回答这个问题,需要同时关注另一个问题,并行度,或者说吞吐量、性能等等。发送端的数据到达kafka是有先来后到的,按理说kafka按顺序记录下来,一条数据对应一个偏移量也没有什么难度。如果仅考虑kafka能不能做到数据有序,那其实是可以的。对于一个kafka主题(topic)来说,它创立之初就有几个属性是需要我们规划好的,特别是分区(partition)。如果一个topic里面只有一个分区的话,那就相当于kafka是在使用单线程接受数据,先到的数据写在前面,后到的数据往后排,从而体现出“有序”。当我们追求高并发、高吞吐量的时候,势必要使用多线程来读写数据,如果kafka使用多个线程来写数据的话要怎么写呢?没错,每个线程划分一个区域,各自写各自的。如果只有一个分区,在写数据跟读数据同时进行时,便会导致偏移量的错乱(不要想着加锁解决,加锁会降低并发的效率)。所以,当你的topic有多个分区时,整体来看,数据是不保证有序的,但是每个分区内部的数据却是有序的。