Spark
ample笔记
所有文章仅作学习交流,愿受指正。
展开
-
Spark的ReduceByKey方法使用问题
Spark的reduceByKey使用时注意:如果key值是唯一的,那么value值就会原样输出。reduceByKey是基于combineByKey,如果key值唯一,就不会执行merge步骤,也就不会执行reduceByKey方法体。代码实例:object Test { def main(args: Array[String]): Unit = { val conf = new SparkConf() val sc = new SparkContext(conf) v原创 2020-09-04 15:05:38 · 906 阅读 · 0 评论 -
spark中使用ArrayBuffer和ListBuffer
如题,使用ArrayBuffer不报错,使用ListBuffer提示强制转换ArrayBuffer失败,具体原因待查原创 2020-03-20 11:51:04 · 1269 阅读 · 0 评论