有时候我们要将一个很大的rdd文件存储到本地,都会用 saveAsTextFile(path)
但是发现数据被存储为几个文件(部分)
一般是执行多少task就会保存多少文件
这是为了更好的进行并行操作
但是你非的要存成一个文件,也是可以的
data.coalesce(1,true).saveAsTextFile("/home/wangtuntun/saveAsSingleFile")
或者
data.repartition(1).saveAsTextFile("/data/aas/AliMusic/submit_layout_data.csv")
其中,data是一个rdd类型的变量