spark-2.3.4下载
提取码:tp1w
1.将压缩包通过xftp放入/opt中
2.cd /opt
3.tar -zxvf spark-2.3.4-bin-hadoop2.6.tgz
4.mv spark-2.3.4-bin-hadoop2.6 soft/spark234
5.cd soft/spark234/conf/
6.cp spark-env.sh.template spark-env.sh
7.cp slaves.template slaves
slaves中设置master节点和worker节点(主,从)
8.vi spark-env.sh
在最下面添加
export SPARK_MASTER_HOST=192.168.109.150 //虚拟机的IP地址
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=2 //每个worker使用2核
export SPARK_WORKER_MEMORY=3g //每个worker使用3g内存
export SPARK_MASTER_WEBUI_PORT=8888
9.cd …/sbin/
10.vi spark-config.sh
在最下面添加自己的jdk路径
export JAVA_HOME=/opt/soft/jdk180/jdk1.8.0_111/
11.cd …/sbin/
./start-all.sh
通过jps看到Worker和Master表示成功
12.cd …/bin/
./spark-shell
成功