本文详细介绍了如何在分布式环境中搭建Spark Standalone集群，包括集群节点信息、配置免密登录、安装包准备、环境变量设置、spark-env.sh和slaves文件修改，以及集群的启动和验证。重点讲述了在过程中遇到的错误处理，如tar文件处理错误，确保在本地学习测试中成功建立Spark Standalone模式。
我们已经掌握了 Spark 单机版安装，那么分布式集群怎么搭建呢？ 接下来我们学习 Standalone 分布式集群搭建。
课程视频
如果你需要在本地配置 Spark 完全分布式环境，可以通过查看课程视频来学习。
课程视频《Spark配置文件设置》
Spark分布式安装模式
Spark 分布式环境安装目前有四种模式：
1.Standalone：Spark 自带的简单群资源管理器，安装较为简单，不需要依赖 Hadoop；
2.Hadoop YARN:使用 YARN 作为集群资源管理，安装需要依赖 Hadoop；
3.Apache Mesos:不常用；
4.Kubernetes:不常用。
本地学习测试我们常用 Standalone 模式，生产环境常使用 YARN 模式。
示例集群信息
以下表格为本教程所用示例集群节点信息：
| 节点名称 | 节点角色 |
|---|---|
| master | worker，master |
| slave1 | worker |
| slave2 | worker |
我们准备了三台虚拟服务器，连接方式如下：
| 服务器 | SSH | 密码 |
|---|---|---|
| master | ssh -p 19001 root@localhost | 123456 |
| slave1 | ssh -p 19 |
最低0.47元/天 解锁文章
761
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
