Spark运行模式之Standalone模式详解

Standalone模式

概述

构建一个由Master+Slave构成的Spark集群,Spark运行在集群中
image.png

安装使用
  1. 进入spark安装目录下的conf文件夹
[liujh@hadoop102 module]$ cd spark/conf/
  1. 修改配置文件名称
[liujh@hadoop102 conf]$ mv slaves.template slaves
[liujh@hadoop102 conf]$ mv spark-env.sh.template spark-env.sh
  1. 修改slave文件,添加work节点:
[liujh@hadoop102 conf]$ vim slaves
hadoop102
hadoop103
hadoop104
  1. 修改spark-env.sh文件,添加如下配置:
[liujh@hadoop102 conf]$ vim spark-env.sh
SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077
  1. 分发spark包
[liujh@hadoop102 module]$ xsync spark/
  1. 启动
[liujh@hadoop102 spark]$ sbin/start-all.sh
[liujh@hadoop102 spark]$ util.sh 
================liujh@hadoop102================
3330 Jps
3238 Worker
3163 Master
================liujh@hadoop103================
2966 Jps
2908 Worker
================liujh@hadoop104================
2978 Worker
3036 Jps

网页查看:hadoop102:8080
注意:如果遇到 “JAVA_HOME not set” 异常,可以在sbin目录下的spark-config.sh 文件中加入如下配置:

export JAVA_HOME=XXXX
  1. 官方求PI案例
[liujh@hadoop102 spark]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100

image.png

  1. 启动spark shell
/opt/module/spark/bin/spark-shell \
--master spark://hadoop102:7077 \
--executor-memory 1g \
--total-executor-cores 2

参数:–master spark://hadoop102:7077指定要连接的集群的master
执行WordCount程序

scala>sc.textFile("input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res0: Array[(String, Int)] = Array((hadoop,6), (oozie,3), (spark,3), (hive,3), (liujh,3), (hbase,6))
JobHistoryServer配置
  1. 修改spark-default.conf.template名称
[liujh@hadoop102 conf]$ mv spark-defaults.conf.template spark-defaults.conf
  1. 修改spark-default.conf文件,开启Log:
[liujh@hadoop102 conf]$ vi spark-defaults.conf
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop102:9000/directory
注意:HDFS上的目录需要提前存在。
[liujh@hadoop102 hadoop]$ hadoop fs –mkdir /directory
  1. 修改spark-env.sh文件,添加如下配置:
[liujh@hadoop102 conf]$ vi spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 
-Dspark.history.retainedApplications=30 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/directory"

参数描述:
spark.eventLog.dir:Application在运行过程中所有的信息均记录在该属性指定的路径下;
spark.history.ui.port=18080 WEBUI访问的端口号为18080
spark.history.fs.logDirectory=hdfs://hadoop102:9000/directory 配置了该属性后,在start-history-server.sh时就无需再显式的指定路径,Spark History Server页面只展示该指定路径下的信息
spark.history.retainedApplications=30指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。

  1. 分发配置文件
[liujh@hadoop102 conf]$ xsync spark-defaults.conf
[liujh@hadoop102 conf]$ xsync spark-env.sh
  1. 启动历史服务
[liujh@hadoop102 spark]$ sbin/start-history-server.sh
  1. 再次执行任务
[liujh@hadoop102 spark]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100
  1. 查看历史服务
    hadoop102:18080
HA配置

image.png

  1. zookeeper正常安装并启动
  2. 修改spark-env.sh文件添加如下配置:
[liujh@hadoop102 conf]$ vi spark-env.sh
注释掉如下内容:
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077
添加上如下内容:
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 
-Dspark.deploy.zookeeper.dir=/spark"
  1. 分发配置文件
[liujh@hadoop102 conf]$ xsync spark-env.sh
  1. 在hadoop102上启动全部节点
[liujh@hadoop102 spark]$ sbin/start-all.sh
  1. 在hadoop103上单独启动master节点
[liujh@hadoop103 spark]$ sbin/start-master.sh
  1. spark HA集群访问
/opt/module/spark/bin/spark-shell \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2g \
--total-executor-cores 2

关注微信公众号
简书:https://www.jianshu.com/u/0278602aea1d
CSDN:https://blog.csdn.net/u012387141

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值