如果让你自己设计一个分布式架构的中间件系统，该怎么做？

V-xin：ruyuanhadeng获得600+页原创精品文章汇总PDF

目录

• 1、Master-Slave架构
• 2、异步日志持久化机制
• 3、检查点机制：定时持久化全量数据
• 4、引入检查点节点
• 5、总结 & 思考

这篇文章，给大家来聊一个生产级的中间件系统的架构设计实践，希望给对中间件系统感兴趣的同学一点启发。

1、Master-Slave架构

这个中间件系统的本质是希望能够用分布式的方式来处理一些数据，但是具体的作用涉及到核心技术，所以这里不能直接说明。

但是他的核心思想，就是把数据分发到很多台机器上来处理，然后需要有一台机器来控制N多台机器的分布式处理，大概如下图所示。

那么既然是分布式的处理，就肯定涉及到在Master中要维护这个集群的一些核心元数据。

比如说数据的分发处理是如何调度的，处理的具体过程现在什么进度了，还有就是对集群里存放数据进行描述的一些核心元数据。

这些核心元数据肯定会不断的频繁的修改，大家此时可以想，无论你是基于外部的文件还是数据库，或者是zookeeper来存放这些元数据的话，其实都会导致他的元数据更新性能降低，因为要访问外部依赖。

何况这种复杂的元数据其实还不一定能通过zk或者数据库来存放，因为他可能是非格式化的。

<