前篇文章介绍了Spark计算框架相较于MapReduce框架的种种优势,接下来我们一起安装、配置Spark集群环境,方便后期继续学习研究。Spark项目是由Scala语言编写的,因此需提前配置Scala环境才能运行Spark程序。
1、Scala版本选择与下载
我们安装spark2.1.2版本与之对应的环境要求可以在spark官网可以得到。 如下图所示:
![22571db163f00b7f32faf1ccfe16c198.png](https://i-blog.csdnimg.cn/blog_migrate/46dc1d7f770777993c7275abd59be2e5.jpeg)
从上图可一看到安装Spark2.1.2我们需要安装scala2.11.x版,在scala官网可以找到与之对应的是2.11.12。scala运行对java虚拟机也是有要求的,从下图可以看到2.11.12要求java1.8的环境。大家还记得我们虚拟机中安装的java版本吗?
![7d80de3110b4d73456469667f32cc70f.png](https://i-blog.csdnimg.cn/blog_migrate/17adf8ca417afde87396db7a7b8d0885.jpeg)
我们可以使用命令查看一下,如下图所示:你们安装的就是1.8(最后一位小版本号之间差异不大,一般可以忽略)。所以我们只需下载scala2.11.12即可。
![44ce3bf3cd7186ce584d41cc7bb760c4.png](https://i-blog.csdnimg.cn/blog_migrate/e4d1d710ef720c46a2e8d01eda7587a1.jpeg)
下载scala2.11.12.tgz的方法:可以在官网选择下图所示的文件下载
![ffcad4cfb86054a71f57354298c79475.png](https://i-blog.csdnimg.cn/blog_migrate/7115a2791c647cf3819bdc52dd771c1c.jpeg)
2、安装scala
首先通过WinSCP将下载的scala压缩文件上传至master用户主目录下Downloads目录下,使用命令 tar –zxvf scala2.11.12.tgz 解压scala2.11.12.tgz至用户主目录下,解压后的文件夹名为scala-2.11.12
![20dc96a520d4191b5469404e38849ccf.png](https://i-blog.csdnimg.cn/blog_migrate/e7fe82f0dc3dc19fde4c99f4f5846bc2.jpeg)
将解压后的文件夹名由scala-2.11.12改为scala,可使用下图所示操作命令
![d70d430b3ece077d75ad4d6ff568ae6a.png](https://i-blog.csdnimg.cn/blog_migrate/8126465ad7d7022b53f79b5b6b40795a.jpeg)
3、配置scala环境变量
编辑用户主目录下的.bashrc文件,命令如下图所示
![5a33ab793397a0c7c59f2143874e3b5c.png](https://i-blog.csdnimg.cn/blog_migrate/2eb328efa9216bad16a573889b196688.jpeg)
在文件末尾添加如下内容
![bbfd3c1aedc1be8af0f515a8c53a8e34.png](https://i-blog.csdnimg.cn/blog_migrate/b81414b21cc2019f01148949c3b27dd9.jpeg)
保存并退出,重新导入配置文件.bashrc然后终端中使用命令scala -version查看scala安装配置是否成功。操作过程如下图所示:
![d95323340c62dda3a22630dc3450c648.png](https://i-blog.csdnimg.cn/blog_migrate/0e9d53be579a231f96456a63be7bc3d2.jpeg)
在master节点操作成功后为了简便可以将scala文件目录和./.bashrc复制到slave1、slave2。复制文件到其他节点使用scp命令:
scp -r ./scala hduser@slave1:~/
scp ./.bashrc hduser@slave1:~/
scp -r ./scala hduser@slave2:~/
scp ./.bashrc hduser@slave2:~/
![4c3745aa06f64a6df54fbb627e9af6a4.png](https://i-blog.csdnimg.cn/blog_migrate/6726a1bba00e53266d1d841a5c00bb42.jpeg)
![b560108b88ef5d4e5b27297a9561dbba.png](https://i-blog.csdnimg.cn/blog_migrate/7a8aacfe173f7374aeff1d74348f4760.jpeg)
![ea32be7c9f20a9ea7145d9e1a1d3b667.png](https://i-blog.csdnimg.cn/blog_migrate/11072b893b46edd8412521f83d92fe89.jpeg)
通过以上命令slave1和slave2节点上都有scala及其配置文件了。我们可以通过重新导入配置文件查看每个节点是否安装成功,操作如下面两图所示:
![1cdb6d3a726c89e343db7454a976b88b.png](https://i-blog.csdnimg.cn/blog_migrate/cfcb36b66bb3af8ccad059c55b0419ce.jpeg)
![6cb7a7c4ad8e3ba2465680447e62c7a4.png](https://i-blog.csdnimg.cn/blog_migrate/7d9463c531a21c1fa761f3bc1574f96b.jpeg)
到这里集群中scala环境就配置好了,下篇文章介绍spark的安装。