大数据平台搭建(Spark)安装（七）

下载地址：http://spark.apache.org/downloads.html

---

---

下载压缩包，上传到 /usr/local，解压缩   重命名

---

---

 mv       spark-2.4.3-bin-hadoop2.7         spark-2.4.3

---

 cd    spark-2.4.3/conf

---

 mv   spark-env.sh.template    spark-env.sh

---

   vi  spark-env.sh

   在spark-env.sh文件的末尾 ，添加：

export JAVA_HOME=/usr/local/jdk1.8.0_221
export HADOOP_CONF_DIR=/usr/hadoop-2.7.6/etc/hadoop
export SPARK_MASTER_HOST=machine119
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
export SPARK_MASTER_WEBUI_PORT=8088

 

---

mv   slaves.template  slaves

---

 vi slaves  删掉其自身的内容，添加如下：

machine119
machine216
machine197

---

切到/usr/local/spark-2.4.3/sbin目录下，将启动命令重新命名，原因是与hadoop的启动命令有所区别
mv   start-all.sh    start-spark-all.sh
mv   stop-all.sh    stop-spark-all.sh

---

配置一下环境变量：

SPARK_HOME=/usr/local/spark-2.4.3

---

source   /etc/profile 

---

然后将本机配置好的spark复制到另外两台主机上

 scp     -r     spark-2.4.3     root@machine216:/usr/local

---

 切换到任何一台节点的spark目录中，执行sbin/start-spark-all.sh，启动spark

---

具体可以参考下面这篇文章：

https://blog.csdn.net/a_bcd_123/article/details/99961638

---

 

 

 

FR：徐海涛（hunkXu)