![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算子
文章平均质量分 74
comeOnBaby126
这个作者很懒,什么都没留下…
展开
-
Spark算子学习之四、其他算子
双value算子原创 2021-03-06 21:36:19 · 198 阅读 · 0 评论 -
Spark算子学习之三、 groupBy、groupByKey和cogroup、join
1.groupBy1)函数签名def groupBy[K](f: T => K)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])]2)功能描述 函数f接收参数类型为一个表达式,将T转化为K,结果中就以表达式的结果为key,即泛型K与入参保持一致,value为输入类型的列表,即泛型T对应入参T。 其实从函数的出入参对应关系可以看出,groupby只是对输入的数据,按照一定的规则进行分组。3)简单案例...原创 2021-01-15 18:25:28 · 571 阅读 · 0 评论 -
Spark算子学习之二、map、mapPartitions、mapPartitionsWithIndex、flatmap
1. map1)函数签名def map[U: ClassTag](f: T => U): RDD[U]2)功能描述 数f是一个函数,它可以接收一个参数。当某个RDD执行map方法时,会遍历该RDD中的每一个数据项,并依次应用f函数,从而产生一个新的RDD。即,这个新RDD中的每一个元素都是原来RDD中每一个元素依次应用f函数而得到的。3)简单案例sc.makeRDD(1 to 4,2).map(_*2).foreach(println)2.mapPart...原创 2021-01-15 17:37:44 · 332 阅读 · 1 评论 -
Spark算子学习之一、RDD和算子概述
spark 算子包含转换算子原创 2021-01-15 15:30:26 · 265 阅读 · 0 评论