1 解压缩文件
将spark-2.4.5-bin-without-hadoop-scala-2.12.tgz文件上传到Linux并解压缩在指定位置
tar -zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz -C /opt/module
cd /opt/module
mv spark-2.4.5-bin-without-hadoop-scala-2.12 spark-standalone
spa
rk2.4.5默认不支持Hadoop3,可以采用多种不同的方式关联Hadoop3
Ø 修改spark-local/conf/spark-env.sh文件,增加如下内容
SPARK_DIST_CLASSPATH=$(/opt/module/hadoop-3.1.3/bin/hadoop
classpath)
Ø 除了修改配置文件外,也可以直接引入对应的Jar包到
/opt/module/spark-standalone/jars中
2 修改配置文件
1) 进入解压缩后路径的conf目录,修改slaves.template文件名为slaves
mv slaves.template slaves
2) 修改slaves文件,添加work节点
hadoop101
hadoop102
hadoop103
3) 修改spark-env.sh.template文件名为spark-env.sh
mv spark-env.sh.template spark-env.sh
4) 修改spark-env.sh文件,添加JAVA_HOME环境变量和集群对应的master节点
export JAVA_HOME=/opt/module/jdk1.8.0_212
SPARK_MASTER_HOST=hadoop101
SPARK_MASTER_PORT=7077
注意:7077端口,相当于hadoop3内部通信的8020端口
5) 分发spark-standalone目录
xsync spark-standalone
3 启动集群
1) 执行脚本命令:
sbin/start-all.sh
2) 查看三台服务器运行进程
================hadoop101================
3330 Jps
3238 Worker
3163 Master
================hadoop102================
2966 Jps
2908 Worker
================hadoop103================
2978 Worker
3036 Jps
- 查看Master资源监控Web UI界面: http://hadoop101:8080
4 提交应用
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop101:7077 \
./examples/jars/spark-examples_2.12-2.4.5.jar \
10
1)–class表示要执行程序的主类
2) --master spark://linux1:7077 独立部署模式,连接到Spark集群
3) spark-examples_2.12-2.4.5.jar 运行类所在的jar包
4) 数字10表示程序的入口参数,用于设定当前应用的任务数量
5 配置历史服务
由于spark-shell停止掉后,集群监控linux1:4040页面就看不到历史任务的运行情况,所以开发时都配置历史服务器记录任务运行情况。
1) 修改spark-defaults.conf.template文件名为spark-defaults.conf
mv spark-defaults.conf.template spark-defaults.conf
2) 修改spark-default.conf文件,配置日志存储路径
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop101:8020/directory
注意:需要启动hadoop集群,HDFS上的directory目录需要提前存在。
sbin/start-dfs.sh
hadoop fs -mkdir /directory
3) 修改spark-env.sh文件, 添加日志配置
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop101:8020/directory
-Dspark.history.retainedApplications=30"
l 参数1含义:WEBUI访问的端口号为18080
l 参数2含义:指定历史服务器日志存储路径
l 参数3含义:指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。
4) 分发配置文件
xsync conf
5) 重新启动集群和历史服务
sbin/start-all.sh
sbin/start-history-server.sh
6) 重新执行任务
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop101:7077 \
./examples/jars/spark-examples_2.12-2.4.5.jar \
10
7) 查看历史服务:http://hadoop101:18080