1.解压
tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /export/servers
2.修改名字(以自己的版本号修改)
mv spark-2.4.0-bin-hadoop2.7 spark
3.进入conf 修改spark-evn.sh
先改名
cd conf/
cp spark-env.sh.template spark-env.sh
YARN_CONF_DIR=/export/servers/hadoop-3.1.3/etc/hadoop
SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077 # 默认端口就是7077, 可以省略不配
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/spark-job-log"
4.修改 slaves 文件, 添加 worker 节点
cp slaves.template slaves
5.在slaves下配置 根据自己虚拟机名称配置
hadoop01
hadoop02
hadoop03
6.配置spark-default.conf文件, 开启 Log
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:8020/spark-job-log
spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080
7.修改 doop 配置文件 yarn-site.xml
vi yarn-site.xml
添加如下内容:
<!--是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
8.分发配置文件
scp -r /export/servers/hadoop-2.7.7/etc/hadoop/yarn-site.xml root@hadoop02:/export/servers/hadoop-2.7.7/etc/hadoop/yarn-site.xml
scp -r /export/servers/spark root@hadoop02:/export/servers/spark
启动历史服务
sbin/start-history-server.sh
sbin/start-all.sh