大数据常用的架构

随着多年的大数据的技术发展和积累，越来越多的人发现各个公司所使用的大数据技术大致可以分为两大类，分别是离线处理技术和实时处理技术，要么个别公司只有离线处理技术，要么个别公司只有实时处理技术，但是绝大部分公司基本上都是两种技术架构都带着一起在做的。

1、lambda架构基本介绍

1.1、业务系统基本流程介绍

1.2、lambda架构基本介绍

lambda架构最早是由storm的创始人，Nathan Marz进行提出并描述了我们目前所了解的lambda架构，其实lamda架构先入为主，已经适用在了绝大部分的公司里面了，绝大部分公司从刚开始发展大数据技术为主，到现在都是采用的lamda架构，lamda架构说白了就是公司的离线和实时处理技术走两条线，离线的专门做离线数据处理（例如使用hive，impala，presto，sparkSQL等各种olap的技术框架），实时的就专门使用实时处理技术（例如storm，sparkStreaming，flink流处理程序等）

1.3、lamda架构处理数据流程图

数据从底层的数据源开始，