reduce
函数签名:
def reduce(f: (T, T) => T): T
函数说明:
聚集RDD中的所有元素,先聚合分区内数据,再聚合分区间数据
collect
函数签名;
def collect(): Array[T]
函数说明:
在驱动程序中,以数组Array的形式返回数据集的所有元素
count
函数签名:
def count(): Long
函数说明:
返回RDD中元素的个数
first
函数签名:
def first(): T
函数说明:
返回RDD中的第一个元素
take
函数签名:
def take(num: Int): Array[T]
函数说明:
返回一个由RDD的前n个元素组成的数组
takeOrdered
函数签名:
def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]
函数说明:
返回该 RDD 排序后的前 n 个元素组成的数组
aggregate
函数签名:
def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U
函数说明:
分区的数据通过初始值和分区内的数据进行聚合,然后再和初始值进行分区间的数据聚合
fold
函数签名:
def fold(zeroValue: T)(op: (T, T) => T): T
函数说明:
折叠操作,aggregate的简化版操作
countByKey
函数签名;
def countByKey(): Map[K, Long]
函数说明:
统计每种key的个数
save相关算子
函数签名:
def saveAsTextFile(path: String): Unit
def saveAsObjectFile(path: String): Unit
def saveAsSequenceFile(
path: String,
codec: Option[Class[_ <: CompressionCodec]] = None): Unit
函数说明:
将数据保存到不同格式的文件中
foreach
函数签名:
def foreach(f: T => Unit): Unit = withScope {
val cleanF = sc.clean(f)
sc.runJob(this, (iter: Iterator[T]) => iter.foreach(cleanF))}
函数说明:
分布式遍历RDD中的每一个元素,调用指
定函数