Spark学习笔记整理 --- 2018-06-23【Spark的部署模式与对比】

最新推荐文章于 2024-07-31 13:16:03 发布

杨鑫newlfe

最新推荐文章于 2024-07-31 13:16:03 发布

阅读量1.8k

点赞数 2

分类专栏： Scala 大数据挖掘与大数据应用案例文章标签： Spark BigData Scala Storm

本文链接：https://blog.csdn.net/u012965373/article/details/80781341

版权

大数据挖掘与大数据应用案例同时被 2 个专栏收录

536 篇文章 1680 订阅 ¥9.90 ¥99.00

订阅专栏

Scala

108 篇文章 5 订阅

订阅专栏

这篇博客详细整理了Spark的学习笔记，重点探讨了Spark的部署模式，并将其与Hadoop进行了对比，强调了Spark如何通过共享底层存储来避免数据跨集群迁移的问题，有助于理解大数据处理的优化策略。

摘要由CSDN通过智能技术生成

本节首先介绍Spark支持的三种典型集群部署方式，即standalone、Spark on Mesos和Spark on YARN；然后，介绍在企业中是如何具体部署和应用Spark框架的，在企业实际应用环境中，针对不同的应用场景，可以采用不同的部署应用方式，或者采用Spark完全替代原有的Hadoop架构，或者采用Spark和Hadoop一起部署的方式。

Spark三种部署方式
Spark应用程序在集群上部署运行时，可以由不同的组件为其提供资源管理调度服务（资源包括CPU、内存等）。比如，可以使用自带的独立集群管理器（standalone），或者使用YARN，也可以使用Mesos。因此，Spark包括三种不同类型的集群部署方式，包括standalone、Spark on Mesos和Spark on YARN。
1.standalone模式
与MapReduce1.0框架类似，Spark框架本身也自带了完整的资源调度管理服务，可以独立部署到一个集群中，而不需要依赖其他系统来为其提供资源管理调度服务。在架构的设计上，Spark与MapReduce1.0完全一致，都是由一个Master和若干个Slave构成，并且以槽（slot）作为资源分配单位。不同的是，Spark中的槽不再像MapReduce1.0那样分为Map 槽和

了解本专栏