Spark全分布模式的安装和配置

Spark的安装模式一般分为三种：1.伪分布模式：即在一个节点上模拟一个分布式环境，master和worker共用一个节点，这种模式一般用于开发和测试Spark程序；2.全分布模式：即真正的集群模式，master和worker部署在不同的节点之上，一般至少需要3个节点（1个master和2个worker），这种模式一般用于实际的生产环境；3.HA集群模式：即高可用集群模式，一般至少需要4台机器（1个主master，1个备master，2个worker），这种模式的优点是在主master宕机之后，备master会立即启动担任master的职责，可以保证集群高效稳定的运行，这种模式就是实际生产环境中多采用的模式。本小节来介绍Spark的全分布模式的安装和配置。

1.搭建Hadoop全分布环境

Hadoop全分布模式的搭建过程请参看文章：https://blog.csdn.net/qq_28286027/article/details/82973196

2.安装Scala

由于Scala只是一个应用软件，只需要安装在master节点即可。

2.1上传scala安装包：

/usr/local/src/scala-2.11.8

2.2解压scala安装包：

tar -zxvf scala-2.11.8.tgz

2.3环境变量配置（三台机器都做一遍）：

[root@master scala-2.11.8]# vim /root/.bash_profile</