CentOS环境下搭建Spark运行环境

准备工作

jdk1.8环境的安装与配置：CentOS下安装和配置JDK1.8

环境搭建过程中，需要使用到的文件以存放至/home/yitian/Desktop文件夹下，各文件的下载地址和配置安装方法，分别详细说明。

• scala2.10.6下载地址：http://www.scala-lang.org/download/2.10.6.html
• spark1.6.2下载地址：http://spark.apache.org/downloads.html

Linux下scala2.10.6的配置与安装

1. 创建scala安装目录：/usr/scala/，当前目录：/home/yitian/Desktop，创建命令：

mkdir /usr/scala

2. 解压Desktop下的scala文件至安装目录。当前目录：/home/yitian/Desktop：

tar -zxvf scala-2.10.6.tgz -C /usr/scala

3. 配置scala环境变量（配置文件：/etc/profile），打开/etc/profile系统配置文件，添加scala环境变量：

运行使配置生效：

source /etc/profile

4. 验证安装是否成功

退出scala shell：

:quit

Linux下Spark1.6.2的配置与安装

1. 创建spark安装目录：/usr/spark

mkdir /usr/spark

2. 解压Desktop下spark文件至安装目录

tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz -C /usr/spark

3. 配置spark环境变量

运行使其生效：

source /etc/profile

4. 验证spark安装是否成功，在任意目录中运行：

spark-shell

出现如下界面：

spark运行成功。注意：因为该虚拟机中未安装python，因此运行pyspark出现问题：