【Spark】Spark二：Spark RDD初步

什么是RDD

Spark是围绕着RDD(Resilient Distributed Dataset,弹性分布式数据集)建立起来的，也就是说，RDD是Spark框架的核心基石。RDD是一个可容错的数据集，这个数据集合中的数据是可以并行处理的。

 

RDD的特点：

• A list of partitions 一系列的分片，比如说64M一片；类似于Hadoop中的split；
• A function for computing each split   在每个分片上都有一个函数去迭代/执行/计算它
• A list of dependencies on other RDDs  一系列的依赖：RDD a转换为RDD b，RDD b转换为RDD c，那么RDD c就依赖于RDD b，RDDb就依赖于RDDa
• Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)  对于key-value的RDD可指定一个partitioner，告诉它如何分片；常用的有hash，range
• Optionally, a list of preferred location(s) to compute each split on (e.g. block locations for an HDFS file) 要运行的计算/执行最好在哪(几)个机器上运行。数据本地性。

前三个特点对应于Lineage，后两个对应于Optimized execution

对于如上的5个特点，对应于RDD中的5个方法

getPartitions	the set of partitions in this RDD
compute	compute a given partition
getDependencies	return how this RDD depends on parent RDDs
partitioner	specify how they are partitioned
getPreferredLocations	specify placement preferences

 

 

 

 

 

	HadoopRDD	Filtered RDD	JoinedRDD
partitions	HDFS上的block	与父RDD一致	一个partition一个任务
dependencies	无	与父RDD 一对一	依赖shuffle的每个父RDD
compute	读取每个block的信息	计算父RDD的每个分区并过滤	读取shuffle数据
partitioner	HDFS block所在位置	无	HashPartitioner
preferredLocations	无	无(与父RDD一致)	无

 

参考：http://www.cnblogs.com/luogankun/p/3801035.html

 

Spark Shell

Spark Shell通过初始化一个SparkContext，然后通过Scala语言的脚本特性，可以以脚本的方式来学习Spark提供的API，通过这一点也可以看出Scala确实是有比Java方便简洁的特性。如下是Spark Shell的支持的命令参数