- 博客(3)
- 收藏
- 关注
RSS订阅原创 RDDTransFormation
RDDTransFormationcombineByKeycombineByKey[C](createCombiner : V => C,mergeValue: (C,V) => C,mergeCombiners : (C,C) => C)对相同K，把V合并成一个集合.createCombiner: combineByKey() 会遍历分区中的所有元素，因此每...
2018-10-30 15:45:46
190
原创 Spark中map和flatMap的区别
Map和flatMap的区别Transformation含义map(func)返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成flatMap(func)类似于map,但是每一个输入元素可以被映射为0或多个输出元素(所以func应该返回一个序列,而不是单一元素)mapmap()的返回值类型不需要和输入类型一样.这样如果由一个字符串RDD,...
2018-10-30 12:44:29
748
原创 Resilient Distributed Dataset的一些小回顾
Resilient Distributed Dataset理解什么是RDDRDD:弹性分布式数据集,RDD其实就是分布式的元素集合,是一个不可变的分布式对象集合引用自Spark快速大数据分析-P21惰性计算模式Spark采用的是惰性计算模式,RDD只有第一次在行动操作中用到的时候,才会真正的计算.Spark可以优化整个计算过程.默认情况下,Spark的RDD会在你每次对它们...
2018-10-30 12:03:30
249
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人