Spark对于数据输入输入文件的相关优化操作

1.指定了输入参数，在代码的开头判断传入数组的长度

def main(args: Array[String]): Unit = {
 if (args.length < 2) {
      println("参数错误")
      return
    }
  }

2.对于输出文件的已经存在问题
1>.删除指定输出路径的文件

//判断输出文件是否存在
  val file = new File(args(1))
  if (file.exists()){
    FileUtils.deleteDirectory(file)
  }

2>.设置输出文件为覆盖内容
先转化为df。再进行操作

frame
.write
//指定字段进行分组
.partitionBy("MPacketHead_ATPType")
//设置文件保存形式为覆盖
.mode(SaveMode.Overwrite).parquet(args(1))