spark高可用配置、YARN配置

为何配置高可用的spark

为避免单点故障，一旦主节点挂掉，数据会丢失，所以才会配置高可用spark

前提

要准备一个conf/slaves;写的全部是小弟(复制

conf/slaves.template为conf/slaves)
node7-3
node7-4

配置文件:(复制conf/spark-env.sh.template为spark-env.sh)

配置备用节点（俗称二哥）

[root@bqy01 ~]# vim /data/module/spark/conf/spark-env.sh

注：前提是将conf/spark-env.sh.template修改成spark-env.sh

配置主节点（master）

[root@bqy02 ~]# vim /data/module/spark/conf/spark-env.sh

注：在配置备用节点的主机上是第一个图，第二图是主节点和worker的配置

启动和停止命令

启动集群

sbin/start-all.sh

关闭集群

sbin/stop-all.sh

注：备用节点，无法群起，需要单个启动

单起节点

sbin/start-master.sh

登陆web端查看

配置yarn

[root@bqy02 ~]# vim /data/module/spark/conf/spark-env.sh

# 告诉Spark,hadoop放到哪里面了,前题是每一个Spark,的服务器上都装有hadoop
HADOOP_CONF_DIR=/data/hadoop/hadoop/etc/hadoop/

保证每台服务器的配置文件都一样
启动spark集群;

bin/spark-submit \
--master yarn \
--name myPi \
--executor-memory 500m \
--total-executor-cores 2 \
--class org.apache.spark.examples.SparkPi \
examples/jars/spark-examples_2.11-2.4.4.jar \
10000

这次提交的是yarn,和spark_standlone木有关系
查看进度的时候,只能去yarn查看;
在本机输入node7-2:4040会自动的跳转到yarn上去