- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅翻译 SPARK RDD编程指南
在高层次面上，每个spark应用有一个驱动程序组成，驱动程序运行用户的主函数，在集群上执行很多并行操作。Spark提供的主要抽象是RDD，可以进行并行操作的跨节点分散的元素集。RDDs可以由Hadoop文件系统中的一个文件创建，或在驱动程序中已经存在的scala集，然后转换它。用户会要求spark在内存中保留一个RDD，允许它被高效地跨并行操作重利用。最终RDD自动从节点失败中恢复。 spark
2018-01-19 17:59:49
715
翻译 spark集群模式概览
本文简短概述下spark如何在集群上运行，使得更简单地理解涉及到的组件。可以通过读”应用提交指南”来学习在一个集群上加载应用。 组件 spark应用作为独立的进程集运行在集群上，在主应用（称为驱动程序）中通过SparkContext来协调调度。 特别地，运行在集群上，SparkContext能够连接多种类型的集群管理者（spark自己的集群管理，Mesos或YARN）,实现跨应用分配资源。一
2018-01-15 09:06:23
340
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人