Cannot use map-side combining with array keys

异常：

Exception in thread "main" org.apache.spark.SparkException: Cannot use map-side combining with array keys

原因：

使用 reduceByKey、countByValue 等，需要使用 flatMap，如果用map处理会抛以上异常。
flatMap：主要用于spark Streaming
map：到处用
区别：
以读文件例：map会为每一行返回一个对象，但flatMap会汇总每行返回的对象成为一个更大的对象（map-side的错误也能看得出）

 

附：wordcount的两种写法：

val lines=sc.textFile("wordcount.txt")

val rdd1 = lines.flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey(_+_)
val rdd2 = lines.flatMap(lines=>lines.split(" ")).countByValue()

rdd1 和 rdd2 结果一样