happy_hudan的博客

原创 通过 “由对象Ｖ到对象Ｃ的转换” 来说明 Spark_Streaming api中 reduceByKey 与 combineByKey 注意事项

今年以来一直在学习通过Spark Streaming 来处理公司大数据相关的业务需求。去重＼汇总 在大数据统计中是很常见的。而reduceByKey、combineByKey 在 Spark Streaming 中做合并操作时（由对象Ｖ到对象Ｃ的转换）很重要的两个api .  网上的事例大部分太过简单，或者讲解过于皮毛。 先对比下二者的函数签名： class PairRDDFun