Spark集群安装配置步骤

本文使用3台测试服务器，下面是各服务器的角色：

- node1：Worker
- node2：Worker
- node3：Master, Worker

1. 配置hosts文件

本文使用RedHat是在 /etc/hosts，新增3台测试服务器的ip/hostname对应关系（根据服务器实际情况修改下面的值）：

$ vi /etc/hosts

xxx.100 node1
xxx.101 node2
xxx.102 node3

分别修改所有的服务器

2. 下载和解压Spark

2.1 下载链接：

http://mirrors.hust.edu.cn/apache/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7.tgz

* 上面的下载link使用的是其中一个镜像
* 可自行修改上面的link下载相应的版本
* 如果不能访问公网，则需要自行下载然后上传到服务器

2.2 执行以下命令解压

$ tar xvf spark-2.1.0-bin-hadoop2.7.tgz

3. 创建用户和群组

本文使用组spark和用户spark

3.1 使用groupadd和useradd创建需要的群组和用户

$ groupadd spark
$ useradd -g spark spark

使用passwd修改用户的密码：

$ passwd spark

分别修改所有的服务器

3.2 修改目录权限

$ chown -R spark:spark $SPARK_HOME

* 上面$SPARK_HOME是上述解压的目录路径

4. 启动Master节点（在Master节点执行）

4.1 切换用户

$ su - spark

4.2 执行以下命令启动Master

$ sbin/start-master.sh

* 默认是在当前服务器启动Master节点，服务端口是7077，web UI端口是8080
* 如果出现如下信息证明启动成功，或者查看日志文件

$ sbin/start-master.sh -h
starting org.apache.spark.deploy.master.Master, logging to /xxx/spark-2.1.0-bin-hadoop2.7/logs/spark-spar