RDD
文章平均质量分 96
TccccD
这个作者很懒,什么都没留下…
展开
-
Spark之深入理解RDD结构
RDDRDD(Resilient Distributed Datasets,弹性分布式数据集),是Spark最为核心的概念,自然也是理解Apache Spark 工作原理的最佳入口之一。RDD的特点: 1. 是一个分区的只读记录的集合; 2. 一个具有容错机制的特殊集; 3. 只能通过在稳定的存储器或其他RDD上的确定性操作(转换)来创建; 4. 可以分布在集群的节点上,以函数式操原创 2018-01-06 22:57:53 · 21534 阅读 · 0 评论 -
Spark技术内幕整理------持续更新
整理自博客专栏《Spark技术内幕》SparkContext---从SparkContext开始Executor---------Executor分配详解Master-----------Master的故障恢复RDD--------------究竟什么是RDDStage-------------Stage划分及提交,Task向Executor提交转载 2018-01-04 21:32:21 · 1063 阅读 · 0 评论