1.1 机器准备
准备两台以上Linux服务器,安装好JDK1.8
1.2 下载Spark安装包
上传解压安装包
上传spark-2.1.1-bin-hadoop2.7.tgz安装包到Linux上
解压安装包到指定位置
tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz
1.3 配置Spark
Spark的部署模式有Local、Local-Cluster、Standalone、Yarn、Mesos,我们选择最具代表性的Standalone集群部署模式。
进入到Spark安装目录
cd /home/hduser/software/spark/conf
将slaves.template复制为slaves
将spark-env.sh.template复制为spark-env.sh
修改slave文件,将work的hostname输入:
修改spark-env.sh文件,添加如下配置: