一.环境说明:
ARM架构的centos 7.4操作系统
IP | hostname | ios | |
10.2.152.230 | hw-master | centos 7.4 |
二.安装maven-3.5.3
(1)下载maven-3.5.3并解压到/usr/local/maven
$:mkdir -p /usr/local/maven
$:tar -xvf apache-maven-3.5.3-bin.tar.gz -C /usr/local/maven/
(2)配置环境变量
$:vim /etc/profile
#maven
export MAVEN_HOME=/usr/local/maven/apache-maven-3.5.3
export PATH=${MAVEN_HOME}/bin:${PATH}
使环境变量生效
$:source /etc/profile
(3)检查
$:mvn -v
三.配置好java、hadoop的环境变量
四、下载spark1.6.1并解压到/usr/local/spark
$:mkdir -p /usr/local/spark
$:tar -xvf spark-1.6.1.tgz -C /usr/local/spark/
环境变量配置
$:vim /etc/profile
export SPARK_HOME=/home/jwc/spark/spark-1.6.1
export PATH=$SPARK_HOME/bin:$PATH
使环境变量生效
$:source /etc/profile
五、修改spark相关配置文件
(1)修改spark安装目录下的pom.xml文件
修改maven的源
(2)修改spark安装目录下的make-distribution.sh文件
(3)修改spark安装目录下/build/mvn的文件
(4)修改maven安装目录下的/conf/setting.xml文件
六、编译spark-1.6.1
(1)maven编译
$: cd spark/spark-1.6.1/
$:./dev/change-scala-version.sh 2.12 (将scala的版本号置为2.11)
$:./build/mvn -Dscala-2.12 -Pyarn -Dhadoop.version=2.7.4 -Dyarn.version=2.7.4 -Phive -Phive-thriftserver -DskipTests clean package
大约编译40分钟即可完成
成功后可在spark-1.6.1/assembly/target/文件夹下看到spark-assembly_2.12-1.6.1-tests.jar
(2)生成部署包
$:./make-distribution.sh --name hadoop2.7.4-spark --tgz -Dscala-2.12 -Pyarn -Phadoop-2.7-Dhadoop.version=2.7.4 -Phive -Phive-thriftserver
大约30分钟即可生成部署包
成功后可在/home/jwc/spark/spark-1.6.1/文件夹下看到:
spark-1.6.1-bin-hadoop2.7.4-spark.tgz
完成!!!
七、配置与启动
(1)修改spark的配置文件
vim /etc/profile
#Spark enviroment
export SPARK_HOME=/usr/spark/spark-1.6.1
export PATH=$PATH:$SPARK_HOME/bin
保存退出使文件生效:source /etc/profile
(2)修改spark-env.sh文件
$:cd /usr/spark/spark-1.6.1/conf
$:vim spark-env.sh
export SCALA_HOME=/usr/local/scala/scala-2.12.6
export JAVA_HOME=/usr/java/jdk1.8.0_161
export SPARK_MASTER_IP=10.2.152.230
export SPARK_WORKER_MEMORY=5g
export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop
(3)修改slave文件
#master
#worker1
#worker2
10.2.152.230
10.2.152.231
10.2.152.232
10.2.152.233
10.2.152.234
(4)启动测试
启动
[root@localhost-master conf]# spark-shell
./start.sh
./stop-all.sh
Jps
web网页访问http://10.2.152.230:8080/