flume+kafka集群解决某著名联锁大型超市超过25年POS线下收单系统变实时系统的典型案例

 楔子

本篇所讲为真正的kafka集群环境的全搭建以及应用端如何集成集群环境和包括生产环境中kafka在大交易量情况下又不能停机如何修复各类核心故障之用。

目前网上对于kafka的论述和博客，绝大部分都是错误的和没用的！没错！大家不要惊讶，那些集群搭完后都是假的，根本没有生产价值！目前网上一共分成5大版本，上千篇博文，都是从这5个“母版”中复刻出来的，本身的“母版”就是假的，根不要说复刻的呢！

在当时因为是2017年左右，我们还没有出现flink，在当时流行的流批一体用的是flume。但这不影响我们的流批一体相关架构的应用，核心思想还是使用流批一体技术去解决实际应用中的场景。对于这个大型商场来说，系统存在达25年以上，全国多达300多家大型超市，总部还有上千个超市。你不能上来说：为了实时交易、实时促销的改造把一个25年+的系统整个推翻重造？这里面有太多非技术问题。

因此此时我们需要“无痛的手法”，这个无痛的手法我们用的正是流批一体化技术去做的改造。当然各位在看完这个案例后完全也可以使用flink重写这个方案。

本篇的base版本就是国内某大型超市在上海徐汇的旗舰店秒级10万tps交易文件吞吐量的蓝本以及相应的生产环境为核心原理。要知道上海和国内有不少超大型超市即：hyper（每个店超过8,000平米）这种大店，几乎有90%用的POS线下收银都来自于同一家世界著名的POS软硬件供应商。因此在我们完成了这种无痛的改造并把原来一笔订单从生成到落回总部主数据需要t+1天变成1秒内后在业界做了分享，该方案还被其它3家超级百货集团（规模都在：超百家门店、上千个POS