场景:
线上业务需要一款拥有超低延迟(us),支持多消费者,并且能够处理海量的消息积压的消息队列。
调研:
- kafka是我们日常生活中比较常见的消息队列,非常适合做消息的离线处理。但是在一些实时性要求比较高的场景下,消息自带的延迟是不可忍受的,测试发现一条消息转发大概需要200ms的耗时,实际情况可能有所出入,但肯定是毫秒级别的。kafka从设计上就是倾向于面向大众,满足大部分需求。当然满足这些要求的成本就是通过牺牲了性能。所以说kafka适合做离线处理。而不是做一些非常实时的应用。
- zeromq就是针对实时应用的一款消息队列,提供了各个拓扑结构的链接方式,性能不错,但不足的是当消息积压有可能会写满内存。
市面上目前的消息队列都与我们的设计目标不符。
设计:
要想拥有微秒级别的延迟,
- 不能走网络,数据必须放本地。
- 用磁盘以及顺序io来保证写入读取性能。生产者收到数据后将数据以换行符append的形式写入文件(顺序写),消费者getline一直到文件尾(顺序读),
- 使用inotify等待新数据的产生。
- 不适用get_line, fgets等库函数,减少数据拷贝,自己实现拆包逻辑。
- 读取的buffer_size不能设置的过小,由于下游消费通常存在一定的耗时,我们尽量一次多读取一些,否则系统调用read的成本很高。
- 当消息产生积压的情况,我们采用water_mark机制来自动调节每次数据读取的最大字节。
实现: