RDD行动算子

reduce

函数签名:
def reduce(f: (T, T) => T): T

函数说明:
聚集RDD中的所有元素,先聚合分区内数据,再聚合分区间数据

collect

函数签名;
def collect(): Array[T]

函数说明:
在驱动程序中,以数组Array的形式返回数据集的所有元素

count

函数签名:
def count(): Long

函数说明:
返回RDD中元素的个数

first

函数签名:
def first(): T

函数说明:
返回RDD中的第一个元素

take

函数签名:
def take(num: Int): Array[T]

函数说明:
返回一个由RDD的前n个元素组成的数组

takeOrdered

函数签名:
def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]

函数说明:
返回该 RDD 排序后的前 n 个元素组成的数组

aggregate

函数签名:
def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U

函数说明:
分区的数据通过初始值和分区内的数据进行聚合,然后再和初始值进行分区间的数据聚合

fold

函数签名:
def fold(zeroValue: T)(op: (T, T) => T): T

函数说明:
折叠操作,aggregate的简化版操作

countByKey

函数签名;
def countByKey(): Map[K, Long]

函数说明:
统计每种key的个数

save相关算子

函数签名:
def saveAsTextFile(path: String): Unit
def saveAsObjectFile(path: String): Unit
def saveAsSequenceFile(
	path: String,
	codec: Option[Class[_ <: CompressionCodec]] = None): Unit
函数说明:
将数据保存到不同格式的文件中

foreach

函数签名:
def foreach(f: T => Unit): Unit = withScope {
	val cleanF = sc.clean(f)
	sc.runJob(this, (iter: Iterator[T]) => iter.foreach(cleanF))}
函数说明:
分布式遍历RDD中的每一个元素,调用指
定函数
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值