Kafka
干就完事了!
Kafka_Hive_Flink
种一颗树最好的时间是十年前,其次是现在
展开
-
【Kafka】Kafka基于磁盘却这么快的原因在哪?
首先,Kafka 作为一个消息系统,通过 topic 的方式来管理 message,把这些消息都顺序写入磁盘文件来提高写入速度,其实这些消息并没有实时写入磁盘,而是充分利用了现代操作系统分页存储来利用内存提高IO效率。其次,它的工作原理是直接利用操作系统的 page 来实现文件到物理内存的直接映射。完成映射之后你对物理内存的操作会被同步到硬盘上(操作系统在适当的时候)。再次,Kafka 也基于 sendfile 实现 zero copy,简化网络上和两个本地文件之间的数据传输,sendfile 的引入.原创 2020-06-19 00:04:09 · 266 阅读 · 0 评论 -
【Kafka】Kafka如何保证消息的有序性
前提条件:生产者生产的消息是有序的,为了保证有序性,生产者采用了双端队列,保证最新消息发送失败也能最先发出。两种方案: 方案一,kafka topic 只设置一个partition分区 方案二,producer将消息发送到指定同一个partition分区解析: 方案一:kafka默认保证同一个partition分区内的消息是有序的,则可以设置topic只使用一个分区,这样消息就是全局有序,缺点是只能被consumergroup里的一个消费者消费,降低了性能,不适用高并发的情况 方案二:既然.原创 2020-05-31 00:21:59 · 4775 阅读 · 1 评论