spark与scala的安装

一、scala安装

0.scala包下载

https://www.scala-lang.org/

1.集群环境

Master 172.16.11.97
Slave1 172.16.11.98
Slave2 172.16.11.99

2.下载解压

下载地址：JDK、CentOS镜像、Hadoop各组件下载地址链接:https://pan.baidu.com/s/1o1UJe1M2x4kIpWIRD1zNFw?pwd=6btq 提取码: 6btq

上传到虚拟机

tar -zxvf scala-2.11.8.tgz

3.添加到环境变量

vim ~/.bashrc

#set scala environment
export SCALA_HOME=/usr/local/src/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

4.刷新环境变量

source ~/.bashrc

5.拷贝到子节点

scp -r /usr/local/src/scala-2.11.8 root@slave1:/usr/local/src/
scp -r /usr/local/src/scala-2.11.8 root@slave2:/usr/local/src/

scp -r ~/.bashrc root@slave1:~/
scp -r ~/.bashrc root@slave2:~/
在子节点重复上述（4.刷新环境变量）步骤

6. 验证

scala -version
# 出现Scala code runner version 2.11.8 -- Copyright 2002-2013, LAMP/EPFL

scala
# 进入scala命令端

二、spark安装（前提：安装scala）

0. Spark源码包下载

mirror.bit.edu.cn/apache/spark/

1. 集群环境

Master 172.16.71.10
Slave1 172.16.71.11
Slave2 172.16.71.12

2. 下载软件包

#Master
下载地址：JDK、CentOS镜像、Hadoop各组件下载地址
链接:https://pan.baidu.com/s/1o1UJe1M2x4kIpWIRD1zNFw 提取码: 6btq

上传到虚拟机
解压组件包

tar zxvf spark-2.0.2-bin