Spark学习_2（Spark集群standalone模式安装）

下载安装包

下载解压，进入官网根据Hadoop的版本下载对应版的 Spark：
下载成功后通过rz命令上传该解压包到Linux系统中。
rz
将解压包移动到合适的文件夹中，我这里是移动到/usr/java中
mv spark-2.4.5-bin-hadoop2.7.tgz /usr/java
移动成功之后，进入到/usr/java目录中解压安装包,通过命令ls查看是否出现了解压成功之后的文件夹
tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz
配置spark-env.sh文件
cd ./spark/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
注意此处的配置路径位置要对应好自己之前Hadoop，spark，jdk，scala等相关信息的安装路径。
export SCALA_HOME=/usr/java/scala
export JAVA_HOME=/usrjava/jdk1.8
export HADOOP_HOME=/usr/java/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=192.168.43.10
SPARK_LOCAL_DIRS=/usr/java/spark
SPARK_DRIVER_MEMORY=1G

将配置好的spark文件夹分发到其他节点计算机,此处ip和文件路径根据自己配置的实际情况设置
scp -r /usr/java/spark root@192.168.43.11:/usr/java/spark
scp -r /usr/java/spark root@192.168.43.12:/usr/java/spark
查看传输是否成功


启动spark，在spark/sbin目录中执行start-all.sh,然后查看web页面显示如下则安装成功。