超级会员免费看
本文详细介绍了如何搭建Spark Standalone集群，包括集群架构、拓扑配置、搭建三节点集群的步骤，如虚拟机创建、SSH连接、防火墙与SeLinux的关闭、免密登录设置、JDK与Hadoop的安装配置。此外，还讲解了如何启动与使用Spark Standalone集群，涉及Spark Shell的启动、应用程序的提交方式等。
文章目录
- 零、本讲学习目标
- 一、Spark Standalone架构
- 二、Spark集群拓扑
- 三、搭建三节点集群
- 四、配置完全分布式Hadoop
- 五、配置Spark Standalone集群
- 六、启动Spark Standalone集群
- 七、使用Spark Standalone集群
零、本讲学习目标
- 搭建Spark Standalone模式的集群
- 能够启动Spark Standalone模式的集群
- 学会Spark应用程序的提交
Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。
一、Spark Standalone架构
- Spark Standalone模式为经典的Master/Slave（主/从）架构，资源调度是Spark自己实现的。在Standalone模式中，根据应用程序提交的方式不同，Driver（主控进程）在集群中的位置也有所不同。应用程序的提交方式主要有两种：
client和cluster，默认是client。可以在向Spark集群提交应用程序时使用--deploy-mode参数指定提交方式。
订阅专栏 解锁全文
扫一扫
1735
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
