Spark
大鼓花
天将降大任于斯人也,必先苦其心志,劳其筋骨,饿其体肤,空乏其身。
展开
-
Sprak学习之RDD五大特性
RDD Resillient Distributed Dataset 即为弹性分布式数据集 在spark中有五大特性 1:a list of partiotioner 有着partiotioner集合 partiotioner是一个具体概念指在一个节点中的连续的空间。一个partiotioner肯定使在一个节点上,但是一个节点上会有着好几个partiotioner. 2:a func原创 2017-07-16 18:21:55 · 2642 阅读 · 0 评论 -
那些年我们玩过的Spark下的Standalone集群模型
内存模型RDD(弹性分布式数据集)RDD的五大特性a list of partiotioner。一组分区。partiotioner是一个抽象概念,指的是一片连续的空间,顾名思义一个RDD包含一组连续的空间。a function for partiotioner 每一个partiotioner都有着一个函数对其进行运算。这也是spark并行计算的基础。a list of dependencies o...原创 2018-07-12 15:31:09 · 568 阅读 · 0 评论