你知道被认为继MapReduce、GFS、BigQuery等之后,Google在大数据处理领域对开源社区的又一大贡献是哪个项目吗?答案是ApacheBeam。事实上,“Beam”这个项目名称已经很清楚地表明了它的设计初衷——统一批处理(Batch)模式和数据流(Stream)处理模式的标准。今天,请跟随大圣众包威客平台的脚步,一起了解ApacheBeam到底有多炫!
一、ApacheBeam的用途与优势
原名GoogleDataFlow的ApacheBeam,是Google在2016年2月贡献给Apache基金会的Apache孵化项目。基于一种统一的模式的ApacheBeam,是用于定义和执行数据并行处理管道(pipeline)的,这些管理随带一套针对特定语言的SDK用于构建管道,以及针对特定运行时环境的Runner用于执行管道。
ApacheBeam项目的重点ÿ