Spark的安装部署

概览

1.安装scala
2.单机版的安装部署
3.spark集群的安装部署
4.基于Zookeeper的Spark高可用集群

准备

CentOS7
scala-2.10.5
spark-2.1.1-bin-hadoop2.7
hadoop高可用集群(或普通集群)
工具:VMware12 Xshell5 Xftp5

1.安装scala

因为spark需要scala的环境,所以需要先安装scala

启动虚拟机,利用Xshell连接,使操作更加方便,然后使用Xftp连接以便上传文件

首先在/usr路径下创建一个scala文件夹当作安装目录以及安装包的上传路径

[root@master ~]# cd /usr/
[root@master usr]# ls
bin  flume  hadoop  hive     java   lib    libexec  sbin   sqoop  tmp        zookeeper.out
etc  games  hbase   include  kafka  lib64  local    share  src    zookeeper
[root@master usr]# mkdir scala
[root@master usr]# ls
bin  flume  hadoop  hive     java   lib    libexec  sbin   share  src  zookeeper
etc  games  hbase   include  kafka  lib64  local    scala  sqoop  tmp  zookeeper.out
[root@master usr]# cd scala/
[root@master scala]# 

利用Xftp上传scala的压缩包到此路径下


解压

[root@master scala]# tar -zxf scala-2.10.5.tgz 

配置环境变量

[root@master scala]# vim /etc/profile

在最后添加上两行

#scala的安装目录
export SCALA_HOME=/usr/scala/scala-2.10.5
export PATH=$PATH:$SCALA_HOME/bin

esc+:wq保存退出
刷新环境变量

[root@master scala]# source /etc/profile

验证是否安装成功

[root@master scala]# scala -version
Scala code runner version 2.10.5 -- Copyright 2002-2013, LAMP/EPFL

2.单机版的安装部署

在/usr下创建一个spark文件夹当作安装目录和安装包上传路径

[root@master scala]# cd ..
[root@master usr]# m