Spark on YARN安装
1.安装Scala
(1)首先解压scala:
tar -zxvf scala安装包
(2)修改环境变量:
vim /etc/profile
内容如下:
export SCALA_HOME=/usr/scala/scala-2.11.12
export PATH=$SCALA_HOME/bin:$PATH
(3)生效环境变量:
source /etc/profile
(4)分发复制到两个子节点,
(5)最后,用scala -version检验是否安装成功。
2.安装Spark
1.解压:
tar -zxvf spark压缩包
2.修改环境变量
vi /etc/profile
export SPARK_HOME=/usr/spark/spark-2.4.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
3.修改配置文件:
(1)cp -a spark-env.sh.template spark-env.sh
# 添加配置如下
# 配置JAVA_HOME
export JAVA_HOME=/app/jdk
# 设置Master的主机名
export SPARK_MASTER_IP=pig1
# 每一个Worker最多可以使用的内存,我的虚拟机就2g
# 真实服务器如果有128G,你可以设置为100G
# 所以这里设置为1024m或1g
export SPARK_WORKER_MEMORY=1024m
# 每一个Worker最多可以使用的cpu core的个数,我虚拟机就一个...
# 真实服务器如果有32个,你可以设置为32个
export SPARK_WORKER_CORES=1
# 提交Application的端口,默认就是这个,万一要改呢,改这里
export SPARK_MASTER_PORT=7077
(2) cp -a slaves.template slaves
修改slaves文件:
将localhost改为:
slave1
slave2
4.分为给其他机器:
5.启动hadoop:
在sbin目录下./start-all.sh
6.启动spark
sbin/start-all.sh