Spark Core and Cluster Managers(翻译自Learning.Spark.Lightning-Fast.Big.Data.Analysis)

Spark Core

Spark Core 包含了Spark提供的基本功能,包括任务调度,内存管理,容错,与存储系统交互等。Spark Core也是定义RDD的API的地方,RDD(resilient distributed dataset)是Spark的主要编程抽象。RDD是一个元素的集合,而集合中的元素分布在许多计算节点中,这些元素可以被并行的操作。Spark Core提供了很多API来创建和操作这些集合。


Cluster Managers

在底层,Spark被设计成能运行在一个节点上,或者数千个节点组成的集群上。在最大化弹性的情况下实现这个目的,Spark能够运行在不同的集群管理器上,包括Hadoop YARN,Apache Mesos和Spark自带的集群管理器——Standalone Scheduler。如果你的Spark安装在一组没有其它集群管理器的机器上,Standalone Scheduler就能提供简单的集群管理功能;如果你已经有了Hadoop YARN或者Mesos集群,Spark允许你的应用运行在这些集群上。第七章深入学习不同的选项和怎样去选择正确的集群管理器。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值