- 博客(1)
- 资源 (2)
- 收藏
- 关注
原创 通过 “由对象V到对象C的转换” 来说明 Spark_Streaming api中 reduceByKey 与 combineByKey 注意事项
今年以来一直在学习通过Spark Streaming 来处理公司大数据相关的业务需求。去重\汇总 在大数据统计中是很常见的。而reduceByKey、combineByKey 在 Spark Streaming 中做合并操作时(由对象V到对象C的转换)很重要的两个api . 网上的事例大部分太过简单,或者讲解过于皮毛。 先对比下二者的函数签名: class PairRDDFun
2016-08-11 08:51:54 1633
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人