Spark+Hadoop集群搭建:(三)在Hadoop集群上安装Spark
本文将介绍如何在Hadoop集群上安装Spark。如果不知道如何搭建Hadoop集群,请先阅读本系列文章的(一)(二)两部分
1 Scala安装
Spark本身是用Scala语言开发的,所以首先需要安装Scala。首先在master中安装。我们用的spark版本为2.4,需要配套使用的scala版本为2.11
1.1 下载安装包
进入Scala下载页面,下拉,找到tgz包
右击,复制链接如下
https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz
在master的命令行中输入:
wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz
1.2 解压
输入命令:tar xvf scala-2.11.12.tgz
1.3 迁移目录
将scala迁移到/usr/local目录下
输入命令:sudo mv scala-2.11.12 /usr/local/scala
1.4 配置环境变量
输入命令:sudo gedit ~/.bashrc
加入如下的配置
使设置生效,输入命令:source ~/.bash