Transformation
文章平均质量分 63
激进的兔子
这个作者很懒,什么都没留下…
展开
-
Spark中map和flatMap的区别
Map和flatMap的区别 Transformation 含义 map(func) 返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成 flatMap(func) 类似于map,但是每一个输入元素可以被映射为0或多个输出元素(所以func应该返回一个序列,而不是单一元素) map map()的返回值类型不需要和输入类型一样.这样如果由一个字符串RDD,...原创 2018-10-30 12:44:29 · 763 阅读 · 0 评论 -
RDDTransFormation
RDDTransFormation combineByKey combineByKey[C]( createCombiner : V => C, mergeValue: (C,V) => C, mergeCombiners : (C,C) => C ) 对相同K,把V合并成一个集合. createCombiner: combineByKey() 会遍历分区中的所有元素,因此每...原创 2018-10-30 15:45:46 · 214 阅读 · 0 评论