hive的常见数据处理方法2020-12-29

最新推荐文章于 2022-11-04 09:27:32 发布

阿君聊风控

最新推荐文章于 2022-11-04 09:27:32 发布

阅读量594

点赞数 1

分类专栏： hive/sparksql

本文链接：https://blog.csdn.net/u010569893/article/details/111883174

版权

hive的常见数据处理方法

下面函数依赖的包

import org.apache.hadoop.fs.Path
import org.apache.spark.sql.SparkSession

获取hive表的所有字段

def getTableCols(spark: SparkSession, table: String): List[String] ={
  spark.sql(s"select * from ${table} limit 1").columns.toList
}

//方法2
def getHiveTableFieldList(sparkSession: SparkSession, table: String): List[String] = {
  sparkSession.sql(s"select * from $table").head.schema.fieldNames.toList
}

获取hive表的最新分区健

def getHiveTablePartiton(sparkSession: SparkSession, table: String): (String, String) = {
  val df = sparkSession.sql(s"SHOW PARTITIONS $table")
  val partiton = df.sort(desc("partition")).take(1).head

  val partitonSplit = partiton.get(0).toString.split("=")
  (partitonSplit(0), partitonSplit(1))
}