Spark On Yarn搭建

实现步骤：

1）搭建好Hadoop（版本，2.7）集群

2）安装和配置scala（版本，2.11）

上传解压scala-2.11.0.tgz—>配置 /etc/profile文件

配置示例：

3）在NodeManager节点（04,05,06节点）上安装和配置Spark

4）进入Spark安装目录的Conf目录，配置：spark-env.sh 文件

配置示例：

export JAVA_HOME=/usr/local/src /jdk1.8.0_65

export SCALA_HOME=/usr/local/src /scala-2.11.0

export HADOOP_HOME=/usr/local/src /hadoop-2.7.1

export HADOOP_CONF_DIR=/usr/local/src /hadoop-2.7.1/etc/hadoop

 

5）配置：slaves文件

配置示例：