版本2.2.0 具体可以去官网,我写在这边就是因为懒着去看官网…推荐大家去看官网…文本的美团调优也建议看看
Transformation算子
RDD中的所有转换都是延迟加载的,也就是说,它们并不会直接计算结果。相反的,它们只是记住这些 应用到基础数据集(例如一个文件)上的转换动作。只有当发生一个要求返回结果给Driver的动作时, 这些转换才会真正运行。这种设计让Spark更加有效率地运行。
转换 | 含义 |
---|---|
map(func) | 返回一个新的RDD,该RDD由每一个输 入元素经过func函数转换后组成 |
filter(func) | 返回一个新的RDD,该RDD由经过func 函数计算后返回值为true的输入元素组 成 |
flatMap(func) | 类似于map,但是每一个输入元素可以 被映射为0或多个输出元素(所以func应 该返回一个序列,而不是单一元素) |
mapPartitions(func) | 类似于map,但独立地在RDD的每一个 分片上运行,因此在类型为T的RDD上运 行时,func的函数类型必须是 Iterator[T] => Iterator[U] |
mapPartitionsWithIndex(func) | 类似于mapPartitions,但func带有一个 整数参数表示分片的索引值,因此在类 型为T的RDD上运行时,func的函数类型 必须是(Int, Iterator[T]) => Iterator[U] |
sample(withReplacement, fraction, seed) | 根据fraction指定的比例对数据进行采 样,可以选择是否使用随机数进行替 换,seed用于指定随机数生成器种子 |
union(otherDataset) | 对源RDD和参数RDD求并集后返回一个 新的RDD |
intersection(otherDataset) | 对源RDD和参数RDD求交集后返回一个 新的RDD |
distinct([numTasks])) | 对源RDD进行去重后返回一个新的RDD |
groupByKey([numTasks]) | 在一个(K,V)的RDD上调用,返回一个(K, Iterator[V])的RDD |
reduceByKey(func, [numTasks]) | 在一个(K,V)的RDD上调用,返回一个 (K,V)的RDD,使用指定的reduce函数, 将相同key的值聚合到一起,与 groupByKey类似,reduce任务的个数 可以通过第二个可选的参数来设置 |
aggregateByKey(zeroValue)(seqOp, combOp, [numTasks]) | 相同的Key值进行聚合操作,在聚合过程 中同样使用了一个中立的初始值 zeroValue:中立值,定义返回value的类 型,并参与运算seqOp:用来在同一个 partition中合并值combOp:用来在不同 partiton中合并值 |
sortByKey([ascending], [numTasks]) | 在一个(K,V)的RDD上调用,K必须实现 Ordered接口,返回一个按照key进行排 序的(K,V)的RDD |
sortBy(func,[ascending], [numTasks]) | 与sortByKey类似,但是更灵活 |
join(otherDataset, [numTasks]) | 在类型为(K,V)和(K,W)的RDD上调用,返 回一个相同key对应的所有元素对在一起 的(K,(V,W))的RDD |
cogroup(otherDataset, [numTasks]) | 在类型为(K,V)和(K,W)的RDD上调用,返 回一个(K,(Iterable,Iterable))类型的RDD |
cartesian(otherDataset) | 笛卡尔积 |
pipe(command, [envVars] | 将一些shell命令用于Spark中生成新的 RDD |
coalesce(numPartitions) | 重新分区 |
repartition(numPartitions) | 重新分区 |
repartitionAndSortWithinPartitions(partitioner) | 重新分区和排序 |
Action算子
在RDD上运行计算,并返回结果给Driver或写入文件系统
动作 | 含义 |
---|---|
reduce(func) | 通过func函数聚集RDD中的所有元素,这个功能必须是 可交换且可并联的 |
collect() | 在驱动程序中,以数组的形式返回数据集的所有元素 |
count() | 返回RDD的元素个数 |
first() | 返回RDD的第一个元素(类似于take(1)) |
take(n) | 返回一个由数据集的前n个元素组成的数组 |
takeSample(withReplacement,num, [seed]) | 返回一个数组,该数组由从数据集中随机采样的num个 元素组成,可以选择是否用随机数替换不足的部分, seed用于指定随机数生成器种子 |
takeOrdered(n, [ordering]) | takeOrdered和top类似,只不过以和top相反的顺序返 回元素 |
saveAsTextFile(path) | 将数据集的元素以textfile的形式保存到HDFS文件系统或 者其他支持的文件系统,对于每个元素,Spark将会调用 toString方法,将它装换为文件中的文本 |
saveAsSequenceFile(path) | 将数据集中的元素以Hadoop sequencefile的格式保存 到指定的目录下,可以使HDFS或者其他Hadoop支持的 文件系统。 |
saveAsObjectFile(path) | |
countByKey() | 针对(K,V)类型的RDD,返回一个(K,Int)的map,表示每 一个key对应的元素个数。 |
foreach(func) | 在数据集的每一个元素上,运行函数func进行更新。 |
会产生shuffle的算子
1、repartition类的操作:比如repartition、repartitionAndSortWithinPartitions、coalesce等
2、byKey类的操作:比如reduceByKey、groupByKey、sortByKey等
3、join类的操作:比如join、cogroup等
重分区: 一般会shuffle,因为需要在整个集群中,对之前所有的分区的数据进行随机,均匀的打乱,然后把数据放入下游新的指定数量的分区内
byKey类的操作:因为你要对一个key,进行聚合操作,那么肯定要保证集群中,所有节点上的,相同的key,一定是到同一个节点上进行处理
join类的操作:两个rdd进行join,就必须将相同joinkey的数据,shuffle到同一个节点上,然后进行相同key的两个rdd数据的笛卡尔乘积
美团spark性能调优
美团spark调优基础篇
美团spark调优高级篇