安装Scala:
- 到官网下载最新版本的scala 2.12.7,并拷贝至虚拟机中
https://www.scala-lang.org/download/
- 解压
sudo mkdir /usr/lib/scala
sudo tar -xzvf scala-2.12.7.tgz -C /usr/lib/scala
- 添加到系统变量中
sudo gedit ~/.bashrc
export SCALA_HOME=/usr/lib/scala/scala-2.12.7
export PATH=${SCALA_HOME}/bin:$PATH
- 使脚本生效
source ~/.bashrc
- 测试,查看scala版本 scala -version
安装Spark:
- 官网下载最新版Spark 2.3.2:
https://www.apache.org/dyn/closer.lua/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz
- 放入虚拟机中并解压
- 编辑环境变量
sudo gedit ~/.bashrc
export SPARK_HOME=/home/gary/Code/spark-2.3.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
export SPARK_EXAMPLES_JAR=$SPARK_HOME/examples/jars/spark-examples_2.11-2.3.2.jar
source ~/.bashrc
- 编辑spark-env.sh配置文件
cd conf
将模板复制一份:cp spark-env.sh.template spark-env.sh
export SCALA_HOME=/usr/lib/scala/scala-2.12.7
export JAVA_HOME=/usr/lib/jdk8/jdk1.8.0_191
SPARK_MASTER_HOST=master
SPARK_MASTER_PORT=7077
SPARK_WORKER_CORES=1
编辑slave配置文件
cp slaves.template slaves
master
slaver1
slaver2
- 拷贝至另外2台机器
sudo scp -r spark-2.3.2-bin-hadoop2.7 gary@slaver1:/home/gary/Code
sudo scp -r spark-2.3.2-bin-hadoop2.7 gary@slaver2:/home/gary/Code
- 启动服务
sbin/start-master.sh
sbin/start-slaves.sh
sbin/start-all.sh
附:
sbin目录总结:
sbin/start-master.sh - 在当前机器上启动一个主节点。
sbin/start-slaves.sh- 在conf/slaves文件中指定的所有机器上启动一个从节点。
sbin/start-slave.sh - 在当前机器上启动一个从节点。
sbin/start-all.sh - 启动所有master和slave。
sbin/stop-master.sh- 停止master。
sbin/stop-slaves.sh- 停止所有slave。
sbin/stop-all.sh - 停止所有master和slave。
- 验证是否启动成功
分别在master和slaver上输入jps查看启动情况
启动成功后可以在http://master:8080上查看到当前集群状况
- 停止服务
cd sbin
./stop-master.sh
./stop-slaves.sh
stop-all.sh