消息队列作为一个数据的集散中心,承载了越来越多的场景和数据,从最开始的 OLTP 到 OLAP,甚至再到物联网、人工智能、机器学习等场景,都有很大的想像空间。 在能力上,消息队列现在拥有了数据,拥有了算力,从承载数据走到理解数据。
蚂蚁金服也在思考给消息队列加入算法的能力,让算法走进消息队列,走向下一个阶段 :洞察数据。把这些能力综合起来,打造一个智慧的传输计算服务平台。
还有一个好消息,消息队列作为 SOFA (Scalable Open Financial Architecture )技术体系比较核心的组成部分,后续也会积极拥抱开源和社区。
本文根据蒋涛在 GIAC 2018 的主题分享《金融级消息队列的演进之路》整理编辑,将给大家分享蚂蚁金服消息队列发展过程中的故事,以及这个过程中的架构思考。
金融场景下的消息系统的关键需求
在蚂蚁金服,消息队列已经有十多年的历史了。在07、08年时,我们采用了 ESB 这样的方式来实现消息的机制。
那个时候遇到的最头疼的问题就是丢消息,排查和修复起来非常的痛苦。到了09年,和淘宝共建并上线了新的消息队列系统,丢消息的问题得到了有效的改善。
蚂蚁的业务具有金融级的属性,从这个角度,有哪些比较关键的需求呢? 集中表现为以下四点: