spark的安装及部署

1.解压

tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /export/servers

2.修改名字（以自己的版本号修改）

mv spark-2.4.0-bin-hadoop2.7 spark

3.进入conf 修改spark-evn.sh
先改名

cd conf/
cp spark-env.sh.template spark-env.sh

YARN_CONF_DIR=/export/servers/hadoop-3.1.3/etc/hadoop
SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077 # 默认端口就是7077, 可以省略不配
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/spark-job-log"

4.修改 slaves 文件, 添加 worker 节点

cp slaves.template slaves

5.在slaves下配置 根据自己虚拟机名称配置

hadoop01
hadoop02
hadoop03

6.配置spark-default.conf文件, 开启 Log

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop102:8020/spark-job-log
spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080

7.修改 doop 配置文件 yarn-site.xml


vi yarn-site.xml

添加如下内容：

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

8.分发配置文件

scp -r /export/servers/hadoop-2.7.7/etc/hadoop/yarn-site.xml root@hadoop02:/export/servers/hadoop-2.7.7/etc/hadoop/yarn-site.xml

scp -r /export/servers/spark root@hadoop02:/export/servers/spark

启动历史服务

sbin/start-history-server.sh

sbin/start-all.sh