- 博客(2)
- 收藏
- 关注
RSS订阅原创 想法记录---实时计算的TopN的实现
TopN就是找出时间段内出现频率最高的n个 TopN的计算是个老生常谈的话题,比如微博的热搜,都是隔段时间就统计一次TopN 现在想做一个实时计算的TopN. 先说说离线计算的TopN,再说实时TopN ###离线TopN 离线TopN一般出现在大数据的应用场景,使用hadoop的map reduce,网上有很多案例 ###实时TopN 实时的计算,相比离线计算,会有如下问题 1.实时计算的数据不...
2018-09-19 22:40:10
9596
原创 订单单量监控v2
前段时间做了一个订单单量监控的项目,已经投入使用了,现在总结一下 整体使用了storm实时计算框架和redis数据库,还有kafka 先简单说下整体思路,后面再将详细实现 1.在页面下单成功的地方跨域调用一次kafka的服务 2.kafka的服务接到这次调用,发送kafka消息 3.storm服务实时接收kafka消息,将消息作为数据源,开始统计一段时间内的订单量 4.拿这段时间内的订单量和预测数...
2018-09-17 21:07:26
9056
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人