spark 集群安装

文章地址：http://www.haha174.top/article/details/253943
首先需要安装jdk 不会可以参考这里（http://www.haha174.top/article/details/259178）
安装scala(懒得写了 不会的话 自行百度)
安装 hadoop（http://www.haha174.top/article/details/258782）

这里使用的是最新版spark 下载地址（http://spark.apache.org/releases/spark-release-2-2-1.html）

tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz
cd  spark-2.2.1-bin-hadoop2.7/conf
cp  slaves.template slaves
vi slaves   
    spark1
    spark2
    spark3
vi spark-env.sh.template spark-env.sh
    export JAVA_HOME=/apps/adf/java/jdk1.8.0_121
    export SCALA_HOME=/scala/scala-2.12.4
    export SPARK_WORKER_MEMORY=1g
    export HADOOP_CONF_DIR=/hadoop/hadoop-2.9.0/etc/hadoop
    export SPARK_MASTER_IP=192.168.1.221
    export SPARK_MASTER_HOST=192.168.1.221
    export SPARK_LOCAL_IP=192.168.1.221
    export SPARK_WORKER_MEMORY=1g
    export SPARK_WORKER_CORES=2

这样spark1 就配置好了
相同的方式配置spark2
spark3

注意这个要改成
export SPARK_LOCAL_IP=192.168.1.221（当前地址）

在master 节点sbin 目录下执行 start-all.sh
jps 查看 master

14274 Master
14354 Worker

查看slave
4145 Worker

或者通过spark1:8080 查看