如何在centos上搭建spark-1.6.1

一.环境说明：

       ARM架构的centos 7.4操作系统

IP	hostname	ios
10.2.152.230	hw-master	centos 7.4

二.安装maven-3.5.3

（1）下载maven-3.5.3并解压到/usr/local/maven 

$:mkdir  -p  /usr/local/maven
$:tar -xvf apache-maven-3.5.3-bin.tar.gz -C /usr/local/maven/

（2）配置环境变量

$:vim  /etc/profile
#maven
export MAVEN_HOME=/usr/local/maven/apache-maven-3.5.3
export PATH=${MAVEN_HOME}/bin:${PATH}

使环境变量生效
$:source /etc/profile

（3）检查

$:mvn -v

三.配置好java、hadoop的环境变量

四、下载spark1.6.1并解压到/usr/local/spark

$:mkdir -p /usr/local/spark
$:tar -xvf spark-1.6.1.tgz -C /usr/local/spark/

环境变量配置
$:vim /etc/profile
export SPARK_HOME=/home/jwc/spark/spark-1.6.1
export PATH=$SPARK_HOME/bin:$PATH

使环境变量生效
$:source /etc/profile

五、修改spark相关配置文件

（1）修改spark安装目录下的pom.xml文件

     修改maven的源

（2）修改spark安装目录下的make-distribution.sh文件

（3）修改spark安装目录下/build/mvn的文件

（4）修改maven安装目录下的/conf/setting.xml文件

六、编译spark-1.6.1

（1）maven编译

$: cd spark/spark-1.6.1/

$:./dev/change-scala-version.sh   2.12 （将scala的版本号置为2.11）

$:./build/mvn -Dscala-2.12 -Pyarn -Dhadoop.version=2.7.4 -Dyarn.version=2.7.4  -Phive -Phive-thriftserver -DskipTests clean package

大约编译40分钟即可完成

成功后可在spark-1.6.1/assembly/target/文件夹下看到spark-assembly_2.12-1.6.1-tests.jar

（2）生成部署包

$:./make-distribution.sh --name hadoop2.7.4-spark --tgz -Dscala-2.12 -Pyarn -Phadoop-2.7-Dhadoop.version=2.7.4 -Phive -Phive-thriftserver

大约30分钟即可生成部署包

成功后可在/home/jwc/spark/spark-1.6.1/文件夹下看到：

spark-1.6.1-bin-hadoop2.7.4-spark.tgz  

完成！！！

七、配置与启动

（1）修改spark的配置文件

vim /etc/profile

#Spark enviroment

export SPARK_HOME=/usr/spark/spark-1.6.1

export PATH=$PATH:$SPARK_HOME/bin

保存退出使文件生效：source  /etc/profile

（2）修改spark-env.sh文件

$:cd  /usr/spark/spark-1.6.1/conf

$:vim spark-env.sh

export SCALA_HOME=/usr/local/scala/scala-2.12.6

export JAVA_HOME=/usr/java/jdk1.8.0_161

export SPARK_MASTER_IP=10.2.152.230

export SPARK_WORKER_MEMORY=5g

export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop

（3）修改slave文件

#master

#worker1

#worker2

 

10.2.152.230

 

10.2.152.231

10.2.152.232

10.2.152.233

10.2.152.234

 

(4)启动测试

启动

[root@localhost-master conf]# spark-shell

./start.sh

./stop-all.sh

Jps

web网页访问http://10.2.152.230:8080/