根据任意表字段进行分区

前段时间遇到数据 表里面没有适合分区的字段 ，时间紧，不打算写连接池，于是网上搜了下关于这些的文章。

发现自己有时候真的是人才 ！

这段代码必须有用！

 import java.text.SimpleDateFormat
    val string = s"${startDate}" + " 00:00:00"
    val sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss")
    val yesTime = sdf.parse(string).getTime

    val Millisecond = yesTime
    val newMill = Millisecond + 86400000

    //根据时间进行分区 昨天的时间戳
    val predicates = Array[String](
      s"msgTimestamp >= '${Millisecond}' and msgTimestamp <= '${newMill}'")

    val url = "jdbc:mysql:/?user=&password="

    val prop = new Properties()

    val df = sqlContext.read.jdbc(url, "", predicates, prop)
      .createTempView("")

    //昨天的数据插入进hive里
    val tableDF = sqlContext.sql(
      s"""
         |
      """.stripMargin)