安装Spark集群(简述)

前提:

已经安装好hadoop集群和zookeeper,功能正常

1.上传安装包(所有节点)(略)

2.解压(略)

3.修改配置文件

 cd /apps/spark-2.2.0-bin-hadoop2.7/conf/
 
1. vi spark-env.sh

 #在里面加入jdk和zk地址

export JAVA_HOME=/usr/java/jdk1.8.0_191
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node00:2181,node01:2181,node02:2181,node03:2181,node04:2181,node05:2181,node06:2181 -Dspark.deploy.zookeeper.dir=/spark"


2. vi slaves

#在里面添加集群的节点,localhost可注


node00
node01
node02
node03
node04
node05
node06

4. 启动集群

#启动所有的节点

/apps/spark-2.2.0-bin-hadoop2.7/sbin/start-all.sh 


#另外启动一个mater

/apps/spark-2.2.0-bin-hadoop2.7/sbin/start-master.sh 

5. 测试

1.  登录浏览器查看集群是否全部启动或者有其他异常
    
     http://node00:8080/


2.  官方测试用例

    /apps/spark-2.2.0-bin-hadoop2.7/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node00:7077  --executor-memory 8G --total-executor-cores 8 /apps/spark-2.2.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.0.jar  1000


这时候查看浏览器上是否有正在运行的sparkPi任务等