本文使用3台测试服务器,下面是各服务器的角色:
- node1:Worker
- node2:Worker
- node3:Master, Worker
1. 配置hosts文件
本文使用RedHat是在 /etc/hosts,新增3台测试服务器的ip/hostname对应关系(根据服务器实际情况修改下面的值):
$ vi /etc/hosts
分别修改所有的服务器
2. 下载和解压Spark
2.1 下载链接:
http://mirrors.hust.edu.cn/apache/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7.tgz
* 上面的下载link使用的是其中一个镜像
* 可自行修改上面的link下载相应的版本
* 如果不能访问公网,则需要自行下载然后上传到服务器
2.2 执行以下命令解压
$ tar xvf spark-2.1.0-bin-hadoop2.7.tgz
3. 创建用户和群组
本文使用组spark和用户spark
3.1 使用groupadd和useradd创建需要的群组和用户
$ groupadd spark
$ useradd -g spark spark
使用passwd修改用户的密码:
$ passwd spark
分别修改所有的服务器
3.2 修改目录权限
$ chown -R spark:spark $SPARK_HOME
* 上面$SPARK_HOME是上述解压的目录路径
4. 启动Master节点(在Master节点执行)
4.1 切换用户
$ su - spark
4.2 执行以下命令启动Master
$ sbin/start-master.sh
* 默认是在当前服务器启动Master节点,服务端口是7077,web UI端口是8080
* 如果出现如下信息证明启动成功,或者查看日志文件
- node1:Worker
- node2:Worker
- node3:Master, Worker
1. 配置hosts文件
本文使用RedHat是在 /etc/hosts,新增3台测试服务器的ip/hostname对应关系(根据服务器实际情况修改下面的值):
$ vi /etc/hosts
xxx.100 node1
xxx.101 node2
xxx.102 node3
分别修改所有的服务器
2. 下载和解压Spark
2.1 下载链接:
http://mirrors.hust.edu.cn/apache/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7.tgz
* 上面的下载link使用的是其中一个镜像
* 可自行修改上面的link下载相应的版本
* 如果不能访问公网,则需要自行下载然后上传到服务器
2.2 执行以下命令解压
$ tar xvf spark-2.1.0-bin-hadoop2.7.tgz
3. 创建用户和群组
本文使用组spark和用户spark
3.1 使用groupadd和useradd创建需要的群组和用户
$ groupadd spark
$ useradd -g spark spark
使用passwd修改用户的密码:
$ passwd spark
分别修改所有的服务器
3.2 修改目录权限
$ chown -R spark:spark $SPARK_HOME
* 上面$SPARK_HOME是上述解压的目录路径
4. 启动Master节点(在Master节点执行)
4.1 切换用户
$ su - spark
4.2 执行以下命令启动Master
$ sbin/start-master.sh
* 默认是在当前服务器启动Master节点,服务端口是7077,web UI端口是8080
* 如果出现如下信息证明启动成功,或者查看日志文件
$ sbin/start-master.sh -h
starting org.apache.spark.deploy.master.Master, logging to /xxx/spark-2.1.0-bin-hadoop2.7/logs/spark-spar