零、本讲学习目标
- 搭建Spark Standalone模式的集群
- 能够启动Spark Standalone模式的集群
- 学会Spark应用程序的提交
一、Spark集群拓扑
(二)集群角色分配
- Spark Standalone模式的集群搭建需要在集群的每个节点都安装Spark,集群角色分配如下表所示。
节点 | -角色 |
---|---|
master | Master |
slave1 | Worker |
slave2 | Worker |
二、搭建集群
(一)私有云上创建三台虚拟机
- 创建配置过程,参看本博《 在私有云上创建与配置虚拟机》
(二)利用SecureCRT登录三台虚拟机
- 打开连接对话框
1、登录master虚拟机
- 单击连接对话框里的master,登录master虚拟机
- 参看本博《在CentOS7上安装vim编辑器》,在master虚拟机上安装
vim
编辑器 - 执行命令:
vi /etc/resolv.conf
,修改/etc/resolv.conf
文件
- 添加两个域名服务器