Spark由AMP实验室开发，是一个涵盖机器学习、数据挖掘等领域的大数据平台。它以Spark Core为中心，与HDFS、Mesos等协同，支持批处理、实时处理、SQL查询、机器学习和图处理。Spark Core通过DAG计算、RDD实现容错和高效迭代，Spark Streaming处理实时数据流，Spark SQL整合SQL与RDD，Spark MLlib提供机器学习库，GraphX则专注于图计算。
Spark 生态圈是加州大学伯克利分校的 AMP 实验室打造的，是一个力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成来展现大数据应用的平台。
AMP 实验室运用大数据、云计算、通信等各种资源及各种灵活的技术方案，对海量不透明的数据进行甄别并转化为有用的信息，以供人们更好地理解世界。该生态圈已经涉及机器学习、数据挖掘、数据库、信息检索、自然语言处理和语音识别等多个领域。
如图 1 所示，Spark 生态圈以 Spark Core 为核心，从 HDFS、Amazon S3 和 HBase 等持久层读取数据，以 Mesos、YARN 和自身携带的 Standalone 为 Cluster Manager 调度 Job 完成 Spark 应用程序的计算，这些应用程序可以来自于不同的组件。
如 Spark Shell/Spark Submit 的批处理，Spark Streaming 的实时处理应用，Spark SQL 的即席查询，MLlib 的机器学习，GraphX 的图处理和 SparkR 的数学计算等。
图 1 Spark 生态圈
最低0.47元/天 解锁文章
279
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
