Linux-centos下 Spark2.X环境准备、编译部署及运行

1. Spark概述

    Spark 是一个用来实现快速而通用的集群计算的平台。

    在速度方面，Spark 扩展了广泛使用的 MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。 在处理大规模数据集时，速度是非常重要的。速度快就意味着我们可以进行交互式的数据操作，否则我们每次操作就需要等待数分钟甚至数小时。

    Spark 的一个主要特点就是能够在内存中进行计算，因而更快。不过即使是必须在磁盘上进行的复杂计算，Spark 依然比 MapReduce 更加高效。

2. Spark学网站

1）databricks  网站

2）spark  官网

3）github  网站

3. Spark2.x源码下载及编译生成版本

1）Spark2.2源码 下载到node5节点的/opt/softwares/目录下，解压

tar -zxf spark-2.2.0.tgz -C /opt/modules/

2）spark2.2编译所需要的环境：Maven3.3.9和Java8