【Spark】on Yarn 模式安装配置

在安装spark前先安装scala

下载Scala

上传到/opt/modules/softwares目录并解压到/opt/modules目录下

root@master:/opt/softwares# ll
total 745404
drwxr-xr-x 2 root root      4096 6月  12 17:08 ./
drwxr-xr-x 7 root root      4096 6月   6 16:52 ../
-rw-r--r-- 1 root root 232027212 5月  21 19:11 apache-hive-2.3.5-bin.tar.gz
-rw-r--r-- 1 root root 168663748 5月  27 22:00 apache-storm-1.2.2.tar.gz
-rw-r--r-- 1 root root 113175674 5月  20 18:50 hbase-1.4.9-bin.tar.gz
-rw-r--r-- 1 root root  19413106 6月  12 17:08 scala-2.13.0.tgz
-rw-r--r-- 1 root root 229988313 6月  12 16:58 spark-2.4.3-bin-hadoop2.7.tgz
root@master:/opt/softwares# tar -zxvf scala-2.13.0.tgz -C /opt/modules/

配置环境变量

vim ~/.bashrc

添加如下

刷新生效
source ~/.bashrc
验证

root@master:/opt/modules# scala -version
Scala code runner version 2.13.0 -- Copyright 2002-2019, LAMP/EPFL and Lightbend, Inc.

安装spark

下载Spark
上传到/opt/modules/softwares目录并解压到/opt/modules目录下

root@master:/opt/softwares# ll
total 745404
drwxr-xr-x 2 root root      4096 6月  12 17:08 ./
drwxr-xr-x 7 root root      4096 6月   6 16:52 ../
-rw-r--r-- 1 root root 232027212 5月  21 19:11 apache-hive-2.3.5-bin.tar.gz
-rw-r--r-- 1 root root 168663748 5月  27 22:00 apache-storm-1.2.2.tar.gz
-rw-r--r-- 1 root root 113175674 5月  20 18:50 hbase-1.4.9-bin.tar.gz
-rw-r--r-- 1 root root  19413106 6月  12 17:08 scala-2.13.0.tgz
-rw-r--r-- 1 root root 229988313 6月  12 16:58 spark-2.4.3-bin-hadoop2.7.tgz
root@master:/opt/softwares# tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz  -C /opt/modules/