RocketMQ-文件读写以及底层数据结构的设计

RocketMQ的并发读写能力扛住了2016年双十一，每秒17.5万笔订单的创建（单笔订单衍生出N条消息，实际tps是17.5*n 万），下面对其高并发读写原理进行探讨。主要体现在两方面：

• 客户端收发消息
• 服务器接收消息并持久化（重点）

客户端(RocketMQ-client)

1，客户端发送消息有负载均衡，客户端内存中保存着当前所有的服务器列表，每次发送都切换一台服务器发送消息，使得每台服务器接收的消息量尽量均衡，避免热点问题。

2，发送代码为线程安全，当Producer实例就绪之后，完全可以死循环发送消息。一般业务方都会有N个数据源实例，所以从数据源方面就保证高并发写能力。

3，消费者端负载均衡集群消费模式下，同一个ID的所有消费者实例平均消费该Topic的所有队列。

服务器端(Broker)
服务端的高并发读写主要利用Linux操作系统的PageCache特性，通过Java的MappedByteBuffer直接操作PageCache。MappedByteBuffer能直接将文件直接映射到内存，其实就是Map把文件的内容被映像到计算机虚拟内存的一块区域，这样就可以直接操作内存当中的数据而无需操作的时候每次都通过I/O去物理硬盘写文件的。

这里先介绍RocketMQ的消息存储结构：由commitLog和consume queue 两部分组成。

commitLog
1，comm