关于spark写入文件至文件系统并制定文件名之自定义outputFormat

引言:

　　spark项目中通常我们需要将我们处理之后数据保存到文件中，比如将处理之后的RDD保存到hdfs上指定的目录中，亦或是保存在本地

spark保存文件：

　　1、rdd.saveAsTextFile("file:///E:/dataFile/result")

　　2、rdd.saveAsHadoopFile("file:///E:/dataFile/result",classOf[T],classOf[T],classOf[outputFormat.class])

　　3、df.write.format("csv").save("file:///E:/dataFile/result")

　　以上都简单的，最普遍的保存文件的方式，有时候是不能够满足我们的需求，上述的文件保存方式中，保存之后，文件名通常是part-00000的方式保存在result文件夹中，但是，我希望能够根据需求自己来定义这个文件名，并且指定的保存的文件夹必须事先不能存在，如果存在的话保存文件会报错。

　　此时就需要我们自定义文件保存名。

自定义保存文件名：

　　需要自定义保存的文件名的话，就需要我们重新对输出的文件的方式进行一个格式化，也就是说不能够使用系统默认的输出文件的方式，需要我们自定义输出格式，需要重写outputFormat类。

示例：

　 需求：需要将数据库中的数据通过sparksql读取之后进行计算，然后进行计算，最终以指定的文件名写入到指定的目录下面：

　 数据库内容：

　　　　　　

　　保存之后的文件：

　　　　保存路径：本地“E:/dataFile/result”，该目录下，文件名为person.txt

　　保存之后文件名：