spark2.2.0集群环境搭建

1.环境

阿里云弹性云主机两台，一台master，一台slave，操作系统CentOs7.2.1511

spark版本2.2.0,

hadoop版本2.7

scala版本2.11

java版本1.8

 

2.java安装和环境变量

官网下载linux64位jdk，地址：jdk官网

创建目录，mkdir /usr/java

在该目录下解压jdk，tar -zvxf jdk-8u152-linux-x64.tar.gz

配置环境变量,vim /etc/profile

在最后追加

 

JAVA_HOME=/usr/java/jdk1.8.0_152
JRE_HOME=/usr/java/jdk1.8.0_152/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH 

保存后，运行source /etc/profile使配置立即生效

 

运行java -version检验环境变量是否生效

 

3.scala安装和环境变量配置

scala安装配置和java类似，在官网下载scala压缩包，官网地址：scala官网

下载版本为2.11.x,因为spark2.2使用scala2.11版本

创建目录，mkdir /usr/scala

在该目录下解压scala，tar -zvxf scala-2.11.11.tgz

配置环境变量,vim /etc/profile

追加

SCALA_HOME=/usr/scala/scala-2.11.11

修改

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$SCALA_HOME/bin:
export JAVA_HOME JRE_HOME SCALA_HOME CLASS_PATH PATH 

保存后，运行source /etc/profile使配置立即生效

运行scala -version检验环境变量是否生效

 

4.网络和域名配置

修改主机名称，vim /etc/sysconfig/network ,追加HOSTNAME=master或运行命令hostname master(临时生效）;

（若为ubuntu系统，则vim /etc/hostname，直接修改名字）

配置主机和ip的映射，vim /etc/hosts 增加172.18.110.172(内网ip） master和172.18.110.173(内网ip） slave1
（坑点记录:   配置host映射时，不要配置127.0.0.1 master 这种映射，否则会导致节点之间无法相互发现）

5.ssh免密登录

参考点击打开链接。（坑点记录：刚开始网上找到ssh秘钥生成方法为dsa算法，生成后登录依然需要输入密码，网上各种方法，如修改文件权限等尝试后依然无效，后来重新搜索发现使用rsa算法生成的秘钥就正常了）

 

6.spark安装和环境变量配置

在官网下载spark-2.2.0-bin-hadoop2.7.tgz,解压到/opt目录下，为方便操作，ln -s spark-2.2.0-bin-hadoop2.7 spark 创建软连接

接下来，同上操作，配置spark环境变量

vim /etc/profile

追加SPARK_HOME=/opt/spark

修改PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:

export JAVA_HOME JRE_HOME SCALA_HOME SPARK_HOME CLASS_PATH PATH

保存后，运行source /etc/profile使配置立即生效

注意：此处同时添加bin和sbin是为了方便操作,因为bin下主要存放spark程序执行命令，sbin下主要存放spark启动等命令

 

完成后，即可运行spark进行验证，输入命令

 

run-example SparkPi 10

执行效果如图：

 

成功使用spark example计算pi，至此，spark单机环境安装完成。

tips:master和slave节点按照同样的方法和步骤，安装和配置一模一样，master和slave节点可以在本地独立运行spark-shell local模式。