spark编程基础

RDD创建
1. 从文件系统中加载数据创建RDD
•Spark采用textFile()方法来从文件系统中加载数据创建RDD
•该方法把文件的URI作为参数，这个URI可以是：
•本地文件系统的地址
•或者是分布式文件系统HDFS的地址
•或者是Amazon S3的地址等等
（1）从本地文件系统中加载数据创建RDD

（2）从分布式文件系统HDFS中加载数据

三条语句是完全等价的，可以使用其中任意一种方式
2. 通过并行集合（列表）创建RDD
可以调用SparkContext的parallelize方法，在Driver中一个已经存在的集合（列表）上创建。


RDD操作

1. 转换操作
   •对于RDD而言，每一次转换操作都会产生不同的RDD，供给下一个“转换”使用
   •转换得到的RDD是惰性求值的，也就是说，整个转换过程只是记录了转换的轨迹，并不会发生真正的计算，只有遇到行动操作时，才会发生真正的计算，开始从血缘关系源头开始，进行物理的转换操作
   
   

•groupByKey()
groupByKey()应用于(K,V)键值对的数据集时，返回一个新的(K, Iterable)形式的数据集


•reduceByKey(func)
reduceByKey(func)应用于(K,V)键值对的数据集时，返回一个新的(K, V)形式的数据集，其中的每个值是将每个key传递到函数func中进行聚合后得到的结果


2. 行动操作
行动操作是真正触发计算的地方。Spark程序执行到行动操作时，才会执行真正的计算，从文件中加载数据，完成一次又一次转换操作，最终，完成行动操作得到结果。

惰性机制
所谓的“惰性机制”是指，整个转换过程只是记录了转换的轨迹，并不会发生真正的计算，只有遇到行动操作时，才会触发“从头到尾”的真正的计算这里给出一段简单的语句来解释Spark的惰性机制

在Spark中，RDD采用惰性求值的机制，每次遇到行动操作，都会从头开始执行计算。每次调用行动操作，都会触发一次从头开始的计算。这对于迭代计算而言，代价是很大的，迭代计算经常需要多次重复使用同一组数据
下面就是多次计算同一个RDD的例子：

•可以通过持久化（缓存）机制避免这种重复计算的开销
•可以使用persist()方法对一个RDD标记为持久化
•之所以说“标记为持久化”，是因为出现persist()语句的地
方，并不会马上计算生成RDD并把它持久化，而是要等到遇到第一个行动操作触发真正计算以后，才会把计算结果进行持久化
•持久化后的RDD将会被保留在计算节点的内存中被后面的行动操作重复使用
persist()的圆括号中包含的是持久化级别参数：
•可以使用unpersist()方法手动地把持久化的RDD从缓存中移除
•persist(MEMORY_ONLY)：表示将RDD作为反序列化的对象存储于JVM中，如果内存不足，就要按照LRU原则替换缓存中的内容
•persist(MEMORY_AND_DISK)表示将RDD作为反序列化的对象存储在JVM中，如果内存不足，超出的分区将会被存放在硬盘上
•一般而言，使用cache()方法时，会调用
persist(MEMORY_ONLY)