Spark生态圈由AMP实验室创建，涵盖机器学习、数据挖掘等多个领域。Spark Core以其DAG计算框架、RDD抽象、容错机制和Akka通信框架为核心，提供批处理、实时处理（Spark Streaming）、SQL查询（Spark SQL）、机器学习（MLlib）和图处理（GraphX）等功能。Spark Streaming将实时流处理分解为短批处理作业，而Spark SQL统一了关系表和RDD的处理。Spark MLlib和GraphX则分别支持机器学习和图计算任务。
Spark 生态圈是加州大学伯克利分校的 AMP 实验室打造的，是一个力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成来展现大数据应用的平台。
AMP 实验室运用大数据、云计算、通信等各种资源及各种灵活的技术方案，对海量不透明的数据进行甄别并转化为有用的信息，以供人们更好地理解世界。该生态圈已经涉及机器学习、数据挖掘、数据库、信息检索、自然语言处理和语音识别等多个领域。
如图 1 所示，Spark 生态圈以 Spark Core 为核心，从 HDFS、Amazon S3 和 HBase 等持久层读取数据，以 Mesos、YARN 和自身携带的 Standalone 为 Cluster Manager 调度 Job 完成 Spark 应用程序的计算，这些应用程序可以来自于不同的组件。
如 Spark Shell/Spark Submit 的批处理，Spark Streaming 的实时处理应用，Spark SQL 的即席查询，MLlib 的机器学习，GraphX 的图处理和 SparkR 的数学计算等。
图 1 Spark 生态圈
最低0.47元/天 解锁文章
453
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
