Kafka介绍与高性能原因分析

1. Kafka介绍

Kafka是LinkedIn开源的分布式消息系统， 目前归属于Apache顶级项目 

Kafka主要特点是基于Pull的模式来处理消息消费，追求高吞吐量，一开始的目的
就是用于日志收集和传输

0.8版本开始支持复制，不支持事务，对消息的重复、丢失、错误没有严格要求
适合产生大量数据的互联网服务的数据收集业务

2. Kafka有哪些特点？

支持分布式、跨平台、伸缩性好、实时性好。

3. Kafka高性能的原因是什么？

顺序写，Page Cache空中接力，高效读写

高性能，高吞吐

后台异步、主动Flush

预读策略，IO调度

4. Kafka高性能核心pageCache与zeroCopy原理解析

pageCache是操作系统形成的磁盘缓存机制，目的是减少磁盘I/O的操作

以下图是应用程序读取操作和与另一个应用（消费者）通信的过程

 以下图是kafka通信过程，使用了page Cache、zeroCopy技术

 5. kafka集群模式

replicate:内存级别的复本