机器:
10.211.55.67 master
10.211.55.68 slave1
10.211.55.69 slave2
首先三台机器安装scala
wget https://downloads.lightbend.com/scala/2.13.2/scala-2.13.2.tgz
下载之后配置环境变量
#scala
export SCALA_HOME=/home/scala-2.13.2
export PATH=$PATH:$SCALA_HOME/bin
测试 scala -version
配置spark环境变量
#spark
export SPARK_HOME=/home/spark-3.0.0/
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
进入conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
export JAVA_HOME=/home/jdk1.8.0_241/
export SCALA_HOME=/home/scala-2.12.6/
export HADOOP_HOME=/home/hadoop-3.2.1/
export HADOOP_CONF_DIR=/home/hadoop-3.2.1/etc/hadoop
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
#说明
JAVA_HOME:Java安装目录
SCALA_HOME:Scala安装目录
HADOOP_HOME:hadoop安装目录
HADOOP_CONF_DIR:hadoop集群的配置文件的目录
SPARK_MASTER_IP:spark集群的Master节点的ip地址
SPARK_WORKER_MEMORY:每个worker节点能够最大分配给exectors的内存大小
SPARK_WORKER_CORES:每个worker节点所占有的CPU核数目
SPARK_WORKER_INSTANCES:每台机器上开启的worker节点的数目
cp slaves.template slaves & vim slaves
在最后下添加
slave1
slave2
拷贝到节点
scp -r /home/spark-3.0.0/ slave1:/home/
scp -r /home/spark-3.0.0/ slave2:/home/
进入/sbin
./start-all.sh
访问界面
http://10.211.55.67:8080/
http://10.211.55.68:8081/
http://10.211.55.69:8081/