当我运行完一个Spark程序想把结果保存为saveAsTextFile
,
结果使用hadoop fs -ls la /qy/151231.txt
后发现里面有一系列的part,好几千个。
原因:
运行Spark的时候把数据分成了很多份(partition),每个partition都把自己的数据保存在partxxx文件夹。
如果想保存为一份的话,就要:
先collect
或者
data.coalesce(1,true).saveAsTextFile()
You can also use repartition(1), which is just a wrapper for coalesce() with the suffle argument set to true.
但是如果你的数据很多,还是不要这样做了。
如果已经存了很多个part:
可以把大文件夹getmerge:
hadoop fs -getmerge /output/dir/on</