Hadoop系列 (六)：Spark搭建

Hadoop系列文章

Hadoop系列 (一)：在CentOS中搭建hadoop环境（伪分布式)

Hadoop系列 (二)：完全分布式搭建（腾讯云服务器+阿里云服务器）

Hadoop系列 (三)：HDFS详细介绍

Hadoop系列 (四)：Yarn详细介绍

Hadoop系列 (五)：MapReduce详细介绍

Hadoop系列 (六)：Spark搭建

Hadoop系列 (七)：ZooKeeper详细介绍

Hadoop系列 (八)：Hbase搭建

Hadoop系列 (九)：Sqoop详细介绍

Hadoop系列 (十)：Flume详细介绍

Spark简介

最初Spark作为hadoop的一个计算框架组件而发布，现在慢慢长大，可以独立运行了。意味着我们不搭建Hadoop集群也能 独立的安装运行Spark。

spark框架可以运行在各种操作系统上。

Apache Spark是一个开源集群计算框架。其主要目的是处理实时生成的数据。Spark建立在Hadoop MapReduce的顶部。它被优化为在内存中运行，而Hadoop的MapReduce等替代方法将数据写入计算机硬盘驱动器或从计算机硬盘驱动器写入数据。因此，Spark比其他替代方案更快地处理数据。

Spark作为Hadoop生态中重要的一员，其发展速度堪称恐怖，不过其作为一个完整的技术栈，在技术和环境的双重刺激下，得到如此多的关注也是有依据的。

Spark核心在于内存计算模型代替Hadoop生态的MapReduce离线计算模型，用更加丰富Transformation和Action算子来替代map,reduce两种算子。

Spark搭建

spark依赖scala，所以需要先安装scala。

注意：Scala版本要与Spark版本对应。

Scala安装

Scala各个版本

这里以Scala2.12.15和Spark3.0.0为例：

解压到/opt/scala目录：

tar zxvf scala-2.12.15.tgz

设置环境变量

# 在.bash_profile末尾增加
#set scala env
export SCALA_HOME=/opt/scala
export PATH=$PATH:$SCALA_HOME/bin

使.bash_profile生效

[hadoop@master ~]$ source .bash_profile
[hadoop@master ~]$ echo $SCALA_HOME
/opt/scala

Spark安装

解压Spark到目录/opt/spark

[hadoop@master software]$ sudo tar zxvf