spark的RDD

spark的RDD是一个分布式对象集合，每个RDD可以分为多个片（partitions）。分片可以在集群环境的不同节点上计算。

创建RDD的两种方式：加载外部数据集或者在驱动程序中部署对象集合。

1通过加载一个文本文件作为RDD

2 现有的内存集合把他传递给SparkContext的并行化方法。在shell中快速创建RDD

 

我们知道，RDD有两种操作  转换和动作，RDDs在转换过程中是惰性的，直到有动作才执行，将数据加载到RDD也是惰性方式，如sc.textFile()时，数据并没有加载，直到动过才加载数据

看返回值是不是RDD我们就能区分转换和动作

count()返回计数  take(10)返回前10条  collect()用来获取整个RDD（注意:整个数据集必须在一台机器上内存中才能使用collect()，所以不能用在大型数据上） 常见的做法是saveAsTextFile()或者saveAsSequenceFile()写到分布式存储系统中