Key-Value算子
文章平均质量分 79
Key-Value算子
comeOnBaby126
这个作者很懒,什么都没留下…
展开
-
Spark算子学习之五、Key-Vaule算子
行动算子原创 2021-03-04 10:18:18 · 389 阅读 · 0 评论 -
Spark算子学习之二、map、mapPartitions、mapPartitionsWithIndex、flatmap
1. map1)函数签名def map[U: ClassTag](f: T => U): RDD[U]2)功能描述 数f是一个函数,它可以接收一个参数。当某个RDD执行map方法时,会遍历该RDD中的每一个数据项,并依次应用f函数,从而产生一个新的RDD。即,这个新RDD中的每一个元素都是原来RDD中每一个元素依次应用f函数而得到的。3)简单案例sc.makeRDD(1 to 4,2).map(_*2).foreach(println)2.mapPart...原创 2021-01-15 17:37:44 · 362 阅读 · 1 评论