在上一节 hadoop搭建的继承上,继续搭建spark环境
上一节地址:hadoop-2.7.5 完全分布式集群搭建
(1)配置scala
机器1:node1(192.168.0.211) 主节点
机器2:node2(192.168.0.212) 从节点
机器3:node3(192.168.0.213) 从节点
scala包:scala-2.12.2.tgz,上传到/opt/目录下
解压
tar zxvf scala-2.12.2.tgz
创建软连接
cd /usr/local/
ln -s spark-2.12.2 spark
配置环境变量vim /etc/profile:
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin
配置后执行:
source /etc/profile
注:node1,node2,node3同样需要配置scala。
(2)spark配置
机器1:node1(192.168.0.211) 主节点
机器2:node2(192.168.0.212) 从节点
机器3:node3(192.168.0.213) 从节点
以下先在主节点node