spark阿里云集群搭建

因为现阶段使用到了spark，所以就想搭建spark集群平台在阿里云上，网上找了很多资料，发现每一个人写的都不太一样，试过几次发现搭建不成功，于是自己慢慢琢磨，总结他们的经验，最后自己成功搭建，写下此篇博客，防止以后再次需要搭建时遇到问题，以下为搭建步骤。

hadoop、scala集群安装成功

下载安装

官网下载地址：http://spark.apache.org/downloads.html

下载与hadoop对应版本的安装包，我的hadoop是2.7.6的所以下载  spark-2.4.3-bin-hadoop2.7.tgz

下载好后解压

tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz

重命名

mv spark-2.4.3-bin-hadoop2.7  spark

 

配置环境变量

vi /etc/profile

export SPARK_HOM