spark编程08——关于数据清洗中的时间日期格式（三）

 统一日期格式+统一路线名+UDF函数使用

日期格式

日期类型	统一格式
2021/11/16	2021-11-16
2021年11月16号	2021-11-16
2021年11月16日	2021-11-16
11月16日	2021-11-16
11-16	2021-11-16

//TODO 日期格式转换
    def replaceDate2(date:String):String={
      var ansDate = date
      if(date.contains("/"))
      {
        val date1=new SimpleDateFormat("yyyy/MM/dd")
        val date2=new SimpleDateFormat("yyyy-MM-dd")
        val t: Date =date1.parse(date)
        ansDate=date2.format(t)
      }
      else if(date.contains("年")&&date.contains("月")&&date.contains("号"))
      {
        val date1=new SimpleDateFormat("yyyy年MM月dd号")
        val date2=new SimpleDateFormat("yyyy-MM-dd")
        val t: Date =date1.parse(date)
        ansDate=date2.format(t)
      }
      else if(date.contains("年")&&date.contains("月")&&date.contains("日"))
      {
        val date1=new SimpleDateFormat("yyyy年MM月dd日")
        val date2=new SimpleDateFormat("yyyy-MM-dd")
        val t: Date =date1.parse(date)
        ansDate=date2.format(t)
      }
      else if(date.contains("月")&&date.contains("日"))
      {
        val date1=new SimpleDateFormat("MM月dd日")
        val date2=new SimpleDateFormat("2021-MM-dd")
        val t: Date =date1.parse(date)
        ansDate=date2.format(t)
      }
      ansDate
    }
    //TODO 统一站点名的格式：例如将836改为836路
    def replaceStationName(station:String):String={
      var resStation=station
      if(!station.endsWith("路"))
        resStation = station+"路"
      else
        resStation = station

      resStation
    }
    spark.udf register("replaceTime1", replaceTime1(_: String))
    spark.udf register("replaceDate2", replaceDate2(_: String))
    spark.udf register("replaceStationName", replaceStationName(_: String))
    val addCol_replacegTime1 = udf(replaceTime1 _)
    val df03=df02.withColumn("createTime",addCol_replacegTime1(df02("create_time")))
    val addCol_replacegDate2 = udf(replaceDate2 _)
    val df04=df03.withColumn("installTime",addCol_replacegDate2(df02("install_time")))
    val addCol_replacegRoute1 = udf(replaceStationName _)
    val df05=df04.withColumn("routeName",addCol_replacegRoute1(df02("route_name")))