一、scala安装
0.scala包下载
https://www.scala-lang.org/
1.集群环境
Master 172.16.11.97
Slave1 172.16.11.98
Slave2 172.16.11.99
2.下载解压
下载地址:JDK、CentOS镜像、Hadoop各组件下载地址链接:https://pan.baidu.com/s/1o1UJe1M2x4kIpWIRD1zNFw?pwd=6btq 提取码: 6btq
上传到虚拟机
tar -zxvf scala-2.11.8.tgz
3.添加到环境变量
vim ~/.bashrc
#set scala environment
export SCALA_HOME=/usr/local/src/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
4.刷新环境变量
source ~/.bashrc
5.拷贝到子节点
scp -r /usr/local/src/scala-2.11.8 root@slave1:/usr/local/src/
scp -r /usr/local/src/scala-2.11.8 root@slave2:/usr/local/src/
scp -r ~/.bashrc root@slave1:~/
scp -r ~/.bashrc root@slave2:~/
在子节点重复上述(4.刷新环境变量)步骤
6. 验证
scala -version
# 出现Scala code runner version 2.11.8 -- Copyright 2002-2013, LAMP/EPFL
scala
# 进入scala命令端
二、spark安装(前提:安装scala)
0. Spark源码包下载
mirror.bit.edu.cn/apache/spark/
1. 集群环境
Master 172.16.71.10
Slave1 172.16.71.11
Slave2 172.16.71.12
2. 下载软件包
#Master
下载地址:JDK、CentOS镜像、Hadoop各组件下载地址
链接:https://pan.baidu.com/s/1o1UJe1M2x4kIpWIRD1zNFw 提取码: 6btq
上传到虚拟机
解压组件包
tar zxvf spark-2.0.2-bin