Spark集群环境搭建（standalone模式）

不懂开发的程序猿

已于 2024-04-27 21:45:17 修改

阅读量4.6k

点赞数 1

分类专栏：精品付费专栏学习文章标签： spark hadoop 大数据

于 2022-07-01 08:48:45 首次发布

本文链接：https://blog.csdn.net/qq_44807756/article/details/125551757

版权

精品付费专栏学习专栏收录该内容

34 篇文章 12 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文详述了在Ubuntu 16.04服务器上搭建Spark集群的步骤，包括验证JDK安装、SSH无密码登录配置、在master节点安装Spark、配置环境变量、设置Spark运行参数、同步配置到worker节点、配置slaves文件、测试Spark集群以及执行Spark示例程序。实验结果显示，Spark集群运行正常，加深了对Spark基础的理解。

摘要由CSDN通过智能技术生成

Spark集群环境搭建（standalone模式）

1. 实验室名称：
2. 实验项目名称：
3. 实验学时：
4. 实验原理：
5. 实验目的：
6. 实验内容：
7. 实验器材（设备、虚拟机名称）：
8. 实验步骤：
9. 实验结果及分析：
10. 实验结论：
11. 总结及心得体会：

原创申明：未经许可，禁止以任何形式转载，若要引用，请标注链接地址
全文共计4532字，阅读大概需要3分钟
欢迎关注我的个人公众号：不懂开发的程序猿

1. 实验室名称：

大数据实验教学系统

2. 实验项目名称：

Spark集群环境搭建（standalone模式）

3. 实验学时：

4. 实验原理：

spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。

name	Value
• local(本地模式)	常用于本地开发测试，本地还分为local单线程和local-cluster多线程;
• standalone(集群模式)	典型的Mater/slave模式，Master可能有单点故障的；Spark支持ZooKeeper来实现 HA。
• on yarn(集群模式)	运行在 yarn 资源管理器框架之上，由 yarn 负责资源管理