[分布式项目]应用对大量Message处理方案的一些思考-CSDN博客

本文链接：https://blog.csdn.net/qq_39749055/article/details/140210359

问题背景

问题来源于之前公司做的项目，组内维护有 调度任务 的应用，对全量商品的每日价格信息进行离线计算，结果用于分析和制定售卖策略。计算周期根据商品的特点，设置在半小时到一天。
随着应用的推广以及业务上的需求，使用方对数据的新鲜度有了更高的要求，而当前的计算频率不能做到结果的实时性。为了提高应用的能力，满足更多的业务需求，需要对应用的实时性进行升级。
影响价格的因素有很多，根据调研，商品的价量态变化是影响最终结果的主要因素。动态信息组有维护一组消息队列，推送商品下sku的价态量的变化。对价量态的消息进行消费，每次感知到变化就对商品做一次重新计算，可以大幅提高结果的新鲜度。
由于商品的数量巨大（百万级），各个商品下又有多种sku，每分钟推送过来的变更消息量很大（千万级）。如何整合海量的消息，实现提升离线计算的商品价格新鲜度，是本次要解决的问题。