spark小文件合并

背景：

进行数据采集时，得到的小文件太多，需要对小文件进行优化，合并成大文件

思路：

1.将小文件移动到指定文件夹下

2.对指定文件夹下的数据进行处理，将合并后的数据保存至另一文件夹

3.将最终数据移动到原有文件夹下

4.删除临时存储所用文件夹

第一步：移动小文件

//将源目录中的文件移动到目标目录中
    def moveFiles(fileSystem: FileSystem, fromDir: String,
                  destDir: String, ifTruncDestDir: Boolean): Unit = {

      val fromDirPath = new Path(fromDir)//源文件路径
      val destDirPath = new Path(destDir)//目标路径

      if (!fileSystem.exists(destDirPath ) {
        fileSystem.mkdirs(destDirPath)
      }//如果不存在创建

      // 是否清空目标目录下面的所有文件
      if (ifTruncDestDir) {
      //如果传参是true执行下面删除目标路径下所有文件
        fileSystem.globStatus(new Path(destDir + "/*") ).foreach(x => fileSystem.delete(x.getPath(), true))
      }

      var num = 0
      fileSystem.globStatus(new Path(fromDir + "/*")).foreach(x => {

        val fromLoca