【一】基于Ubuntu16.04环境编译Spark源码及安装

前期准备

maven3.3.9+安装

jdk1.7+jdk安装

scala安装

下载

http://spark.apache.org/downloads.html

这里是下载源码，根据我们生成的环境自己编译

官网编译源码介绍

创建目录

mkdir /app/spark

cd /app/spark

解压

tar -zxvf spark-2.2.0.tgz

 

使用dev中的make-distribution.sh命令编译

cd /app/spark/spark-2.2.0

 ./dev/make-distribution.sh --name 2.9.0 --tgz -Psparkr -Phadoop-2.9 -Phive -Phive-thriftserver -Pmesos -Pyarn -Dhaoop.version=2.9.0

参数介绍

-Dhaoop.version=2.9.0

--name    编译后spark安装包的名字

--tgz    以tgz方式压缩

-Psparkr    编译出来的spark支持R语言

-Phive    编译出来的spark支持对hive的操作

 -Phive-thriftserver    编译出来的spark支持对hive的操作

-Pmesos    编译出来的spark支持在mesos运行

-Pyarn    编译出来的spark支持在yarn运行

编译成功

生成的包就在spark源码的根目录下

生成的名称可能不一样。

先要安装scala

解压

tar -zxvf spark-2.2.0-bin-2.9.0.tgz

移动

mv spark-2.2.0-bin-2.9.0 /app/spark

配置环境变量

vi ~/.bashrc

export SPARK_HOME=/app/spark/spark-2.2.0-bin-2.9.0
export PATH=:$PATH:$SPARK_HOME/bin

使配置立刻生效

source ~/.bashrc

进入目录

cd /app/spark/spark-2.2.0-bin-2.9.0/bin

检验是否安装成功

./spark-shell --version

 ./spark-shell --master local[2]

图形用户界面

http://node1:4040/jobs/