大数据开发-深入理解大数据Lambda架构

1.大数据处理的挑战

缕一缕it的发展，第一阶段是各大系统各大平台的出现，解决的是线下搬到线上的效率问题，而下一个阶段是数据时代，处理这些各大平台积累的数据，积累的数据，一般比较大，大数据做的是什么，大规模的数据处理，主要是离线为主，所以就出现了hadoop的三大基础组件，分别解决大数据存储，计算，大表存储，这个阶段基本解决了大数据的计算，也即可以编写出程序，完成大数据的大规模运算，后面又出现了实时处理，第一个出现的就是storm，可以处理实时的单个数据，这样就展现了最新的数据，但是同时也看到了，如果既想要最新的又想要历史的，要怎么办呢，所以Storm的作者Nathan Mara提出了Lambda架构，这种架构主要解决离线数据计算结果怎么和实时处理的结果合并提供最后的结果。

2.大数据Lambda架构应该有那些特点

首先缕缕需求，我们要的就是一种在线计算结果和离线计算结果合并的架构，试想一种信贷场景，我要得到某个用户交易过的所有贷款机构，假设用这个结果来算多头分，需求场景就是要实时取到最新的数据，比如上一秒交易是A机构，那下一秒交易就得拿到这个机构，那么对于历史数据必然是要存量计算，这种计算必然是需要花费一定时间的，而上一秒交易的A机构，一般在离线仓库里面不会马上放进去，只能将这种数据放到实时处理里边， 细想这种结构，要有下面几个特点，

• 至少保证离线exact-once，环境有时候是不可靠的，尤其是在线系统࿰