大数据（069）Spark【Spark介绍】

一、什么是Spark

• Apache Spark is an open source cluster computingsystem that aims to make data analytics fast.

  Apache Spark是一个专注于快速分析数据的开源集群计算系统。

• both fast to run and fast to wrtie.

  快速读写。

二、Spark技术栈

        上图所示为Spark技术栈，我们已经知道Apache Spark是一个专注于快速分析数据的开源集群计算系统。那么我们怎么通过Spark的特点去处理我们的业务数据。这就需要用到Spark技术栈。

        Spark：Spark Core，Spark核心，处理批数据，支持Java、Scala、Python等语言。

        Spark Streaming：Spark基于Spark Core开发的流式数据处理框架。

        Spark Sql：可以将一个SQL语言转换为Spark计算模型。

三、Spark运行模式

        • Local--------多用于测试
        • Standalone--------分布式主从模式，有Master节点和Worker节点。
        • Mesos--------和Yarn差不多，是一个细粒度的资源调度框架，用的不多。
        • YARN--------粗粒度的资源调度框架，最具前景，国内用的最多。