ubuntu搭建spark单机版

安装Java SE

1、下载JAVA SE linux版本。下载地址为： 
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

注意选择Linux版本，根据机器类型选择32位或者64位。

2、下载jdk-8u131-linux-x64.tar.gz后，解压到自己指定目录。

$ tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/lib/java
3、配置JAVA环境变量。

打开./etc/profile文件。

$ vim /etc/profile
在/etc/profile文件末尾增加如下内容：

export JAVA_HOME=/usr/lib/java/jdk1.8.0_131 
export JRE_HOME=${JAVA_HOME}/jre 
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH 
保存后退出，运行如下命令，使修改环境变量即可生效：

$ source  /etc/profile
4、检测java是否成功安装。

$ java -version
java version "1.8.0_131"
如果显示了java安装的版本，则表示已正确安装，可以进行下一步了。

安装Scala

1、下载Scala的压缩文件。下载地址为： 
http://www.scala-lang.org/download/

2、下载scala-2.12.2.tgz后，解压到指定的目录：

$ tar -zxvf scala-2.12.2.tgz -C /opt/scala/
3、配置scala环境变量。

打开./etc/profile文件。

$vim  /etc/profile
在/etc/profile文件末尾增加如下内容：

export SCALA_HOME=/opt/scala/scala-2.12.2 
export PATH=${SCALA_HOME}/bin:$PATH 

保存后退出，运行如下命令，使修改环境变量即可生效：

$ source /etc/profile
4、检测scala是否正确安装。

$ scala -version
Scala code runner version 2.12.2 -- Copyright 2002-2017, LAMP/EPFL and Lightbend, Inc
若显示如上信息，则表示scala已安装正确。

安装Spark

1、下载Spark的压缩文件。下载地址为： 
http://spark.apache.org/downloads.html

2、下载spark-2.1.1-bin-hadoop2.7.tgz后，解压到指定的目录：

$ tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/spark/
3、配置scala环境变量。

打开./etc/profile文件。

$ vim /etc/profile
在./etc/profile文件末尾增加如下内容：

export SPARK_HOME=/opt/spark/spark-2.1.1-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH 
保存后退出，运行如下命令，使修改环境变量即可生效：

$ source /etc/profile
4、检测spark是否正确安装。

$ spark-shell
如果出现如下界面，则表示spark已正确安装： 

打开spark-shell使用scala进行编程，因此需要安装scala

若使用python进行开发，安装java后可直接安装pip install pyspark安装pyspark，使用pyspark启动spark