1.虚拟机配置
主机名 | 配置 |
node1 | 3G,20G |
node2 | 2G,20G |
node3 | 2G,20G |
2.版本信息
组件名称 | 版本 |
JDK | jdk1.8.0_181 |
Hadoop | hadoop-2.7.1 |
Spark | spark-2.4.0 |
Scala | scala-2.11.0 |
3.安装过程
(1)Scala下载与安装:https://www.scala-lang.org/download/
第一步:解压压缩包到指定目录
tar -zxf scala-2.11.0.tgz
第二步: 修改环境变量
vim ~/.bashrc
export SCALA_HOME="/root/apps/scala-2.11.0"
source ~/.bashrc
第三步:将这台主机上的scala分发到其他节点
scp -r /root/apps/scala-2.11.0 root@node2://root/apps/
scp -r /root/apps/scala-2.11.0 root@node3://root/apps/
(2)Spark下载与安装:http://spark.apache.org/downloads.html
第一步:解压压缩包到指定目录
tar -zxf spark-2.4.0-bin-hadoop2.7.tgz
第二步:修改环境变量
vim ~/.bashrc
export SPARK_HOME="/root/apps/spark-2.4.0-bin-hadoop2.7"
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATHsource ~/.bashrc
第三步:配置Spark
进入Spark的conf目录并配置:
接下来配置slaves文件,把worker节点都添加进去:
然后将配置文件发送到其他节点。
4.启动并查看集群状况
start-all.sh
配置成功!