1.安装JDK
这里之前在hadoop集群搭建中已有详细的介绍(包括虚拟机网络配置,免密码登录都有详细介绍)
请参考:hadoop集群搭建过程
二、安装spark
1.下载spark安装包
spark官网下载 http://spark.apache.org/downloads.html
2.上传解压spark
rz //上传
tar -zxvf spark-3.0.0-preview2-bin-hadoop2.7.tgz -C /export/servers/ //解压到/export/servers/ 目录下
3.配置spark环境变量
只要在master上配置就好
cd spark-3.0.0-preview2-bin-hadoop2.7/
ls
cd conf
ls
cp spark-env.sh.template spark-env.sh //拷贝备份
cp slaves.template slaves //拷贝备份
配置 spark-env.sh
vim spark-env.sh
//最后加入
export JAVA_HOME=/export/servers/jdk
export SPARK_MASTER_HOST=Master
SPARK_MASTER_PORT=707
配置slaves
vim slaves
//加入
Slave2
Slave1
4.分配到其他机器
scp -r spark-3.0.0-preview2-bin-hadoop2.7 slave1.