我们已经掌握了 Spark 单机版安装,那么分布式集群怎么搭建呢? 接下来我们学习 Standalone 分布式集群搭建。
课程视频
如果你需要在本地配置 Spark 完全分布式环境,可以通过查看课程视频来学习。
课程视频《Spark配置文件设置》
Spark分布式安装模式
Spark 分布式环境安装目前有四种模式:
1.Standalone:Spark 自带的简单群资源管理器,安装较为简单,不需要依赖 Hadoop;
2.Hadoop YARN:使用 YARN 作为集群资源管理,安装需要依赖 Hadoop;
3.Apache Mesos:不常用;
4.Kubernetes:不常用。
本地学习测试我们常用 Standalone 模式,生产环境常使用 YARN 模式。
示例集群信息
以下表格为本教程所用示例集群节点信息:
节点名称 | 节点角色 |
---|---|
master | worker,master |
slave1 | worker |
slave2 | worker |
我们准备了三台虚拟服务器,连接方式如下:
服务器 | SSH | 密码 |
---|---|---|
master | ssh -p 19001 root@localhost | 123456 |
slave1 | ssh -p 19 |