大数据学习Spark——Standalone模式（实战及历史服务）

1 解压缩文件

将spark-2.4.5-bin-without-hadoop-scala-2.12.tgz文件上传到Linux并解压缩在指定位置

 tar -zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz -C /opt/module

 cd /opt/module 

 mv spark-2.4.5-bin-without-hadoop-scala-2.12 spark-standalone

spa

rk2.4.5默认不支持Hadoop3，可以采用多种不同的方式关联Hadoop3

Ø 修改spark-local/conf/spark-env.sh文件，增加如下内容

SPARK_DIST_CLASSPATH=$(/opt/module/hadoop-3.1.3/bin/hadoop
classpath)

Ø 除了修改配置文件外，也可以直接引入对应的Jar包到
/opt/module/spark-standalone/jars中

2 修改配置文件

1) 进入解压缩后路径的conf目录，修改slaves.template文件名为slaves

mv slaves.template slaves

2) 修改slaves文件，添加work节点

 hadoop101
 hadoop102
 hadoop103

3) 修改spark-env.sh.template文件名为spark-env.sh

 mv spark-env.sh.template spark-env.sh

4) 修改spark-env.sh文件，添加JAVA_HOME环境变量和集群对应的master节点

 export JAVA_HOME=/opt/module/jdk1.8.0_212
 SPARK_MASTER_HOST=hadoop101
 SPARK_MASTER_PORT=7077

注意：7077端口，相当于hadoop3内部通信的8020端口

5) 分发spark-standalone目录

 xsync spark-standalone

3 启动集群

1) 执行脚本命令：

 sbin/start-all.sh

2) 查看三台服务器运行进程

================hadoop101================
 3330 Jps
 3238 Worker
 3163 Master
 ================hadoop102================
 2966 Jps
 2908 Worker
 ================hadoop103================
 2978 Worker
 3036 Jps

3. 查看Master资源监控Web UI界面: http://hadoop101:8080
   

4 提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop101:7077 \
./examples/jars/spark-examples_2.12-2.4.5.jar \
10

1)–class表示要执行程序的主类

2) --master spark://linux1:7077 独立部署模式，连接到Spark集群

3) spark-examples_2.12-2.4.5.jar 运行类所在的jar包

4) 数字10表示程序的入口参数，用于设定当前应用的任务数量

5 配置历史服务

由于spark-shell停止掉后，集群监控linux1:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

1) 修改spark-defaults.conf.template文件名为spark-defaults.conf

 mv spark-defaults.conf.template spark-defaults.conf

2) 修改spark-default.conf文件，配置日志存储路径

 spark.eventLog.enabled          true
 spark.eventLog.dir               hdfs://hadoop101:8020/directory

注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。

sbin/start-dfs.sh

hadoop fs -mkdir /directory

3) 修改spark-env.sh文件, 添加日志配置

 export SPARK_HISTORY_OPTS="
 -Dspark.history.ui.port=18080 
 -Dspark.history.fs.logDirectory=hdfs://hadoop101:8020/directory
 -Dspark.history.retainedApplications=30"

l 参数1含义：WEBUI访问的端口号为18080

l 参数2含义：指定历史服务器日志存储路径

l 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

4) 分发配置文件

 xsync conf 

5) 重新启动集群和历史服务

 sbin/start-all.sh

 sbin/start-history-server.sh

6) 重新执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop101:7077 \
./examples/jars/spark-examples_2.12-2.4.5.jar \
10

7) 查看历史服务：http://hadoop101:18080