RDD部分收录

transformation操作:得到一个新的RDD，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD
1.flatMap：对集合中每个元素进行操作然后再扁平化。 
2.map：对集合中每个元素进行操作。 
3.reduceByKey(_+_): 传入一个函数，将key相同的一类进行聚合计算 如相加
4. mapvalues(_+10): 传入一个函数，类似于map方法，不过这里只是对元组中的value进行计算
5.filter(): 传入一个函数， 用户过滤处理数据 
6.sortBy():传入对哪个字段进行排序 对数据进行排序
7.partitionBy(): 传入一个自定义的分区类，可进行数据的分区
8.mapPartitions() :对每个分区中的每条数据进行处理 类似于map，不过map是针对整个数据的，而mapPartitions()是针对分区
假设一个rdd有10个元素，分成3个分区。如果使用map方法，map中的输入函数会被调用10次；而使用mapPartitions方法的话，其输入函数会只会被调用3次，每个分区调用1次。返回的数据需要转换为iterator
9.reverse: 将排序好的数据进行反转
10.toList 将Iterator转换为list 然后就可以使用list的sortBy()函数进行排序
11.groupBy(): 对指定字段进行分组
12.lookup(k)：作用于K-V类型的RDD上，返回指定K的所有V值
13.collectAsMap():作用于K-V类型的RDD上，作用与collect不同的是collectAsMap函数不包含重复的key，对于重复的key。后面的元素覆盖前面的元素
14.groupByKey(numPartitions):按Key进行分组，返回[K,Iterable[V]]，numPartitions设置分区数，提高作业并行度
15.sortByKey(accending，numPartitions):返回以Key排序的（K,V）键值对组成的RDD，accending为true时表示升序，为false时表示降序，numPartitions设置分区数，提高作业并行度
16.cogroup(otherDataSet，numPartitions)：对两个RDD(如:(K,V)和(K,W))相同Key的元素先分别做聚合，最后返回(K,Iterator<V>,Iterator<W>)形式的RDD,numPartitions设置分区数，提高作业并行度
17.join(otherDataSet,numPartitions):[本质是通过cogroup算子先进行协同划分，再通过flatMapValues 将合并的数据打散。]对两个RDD先进行cogroup操作形成新的RDD，再对每个Key下的元素进行笛卡尔积，numPartitions设置分区数，提高作业并行度
18.RightOutJoin(otherDataSet, numPartitions):右外连接，包含右RDD的所有数据，如果左边没有与之匹配的用None表示,numPartitions设置分区数，提高作业并行度
19.LeftOutJoin(otherDataSet，numPartitions):左外连接，包含左RDD的所有数据，如果右边没有与之匹配的用None表示,numPartitions设置分区数，提高作业并行度
20.union(ortherDataset):将两个RDD中的数据集进行合并，最终返回两个RDD的并集，若RDD中存在相同的元素也不会去重

Action操作:action是得到一个值，或者一个结果（直接将RDD cache到内存中）
21.collect():以数据的形式返回数据集中的所有元素给Driver程序，为防止Driver程序内存溢出，一般要控制返回的数据集大小
22.take(n):以数组的形式返回数据集上的前n个元素
26.countByKey():作用于K-V类型的RDD上，统计每个key的个数，返回(K,K的个数)
23.top(n):按默认或者指定的排序规则返回前n个元素，默认按降序输出