lambda架构

大数据时代：3V

集中存储/集中计算依据无法处理巨大的数据量：

Volume 海量数据 ，Velocity 更新频率高 ，Variety 多类别

Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境的混合平台，以提供一个实时的数据视图

分层架构：

批处理层，实时处理层，服务层（面向终端客户）

 

 

 

 

 

 批处理层特点：

数据不可变（append only）

可进行任何计算

水平扩展

　　数据量大

高延迟

　　根据计算量和数据量的不同，运行时间可能几分钟到几个小时

 

 

 

 

 

 批处理层：产生视图

 

 

 

实时处理层：

流式处理，持续计算，存储和分析某个窗口期内的数据：比如5分钟内，最终正确性：有些算法很难实时运算，此时采用估算值即可

 

 实时数据分析：Storm

实时处理层：视图存储数据库,与批处理层一样

 

 

 

 

 

转载于:https://www.cnblogs.com/hotMemo/p/11479480.html