spark
菜鸡程序员丶
这个作者很懒,什么都没留下…
展开
-
Spark基本的RDD算子之groupBy,groupByKey,mapValues
1.groupbydef groupBy[K: ClassTag](f: T => K): RDD[(K, Iterable[T])]def groupBy[K: ClassTag](f: T => K, numPartitions: Int): RDD[(K, Iterable[T])]def groupBy[K: ClassTag](f: T => K, p...转载 2019-08-09 14:25:23 · 2334 阅读 · 0 评论 -
RDD两种操作的简单介绍
1、 TransformationTransformation用于对RDD的创建,RDD只能使用Transformation创建,同时还提供大量操作方法,包括map,filter,groupBy,join等,RDD利用这些操作生成新的RDD,但是需要注意,无论多少次Transformation,在RDD中真正数据计算Action之前都不可能真正运行。2、ActionAction是数据执行部分...原创 2019-08-30 12:21:44 · 1589 阅读 · 0 评论