SparkSql 动态插入hive分区表

最新推荐文章于 2023-02-01 18:35:16 发布

小刘秃头日常

最新推荐文章于 2023-02-01 18:35:16 发布

阅读量2.1k

点赞数

文章标签： hive spark big data

本文链接：https://blog.csdn.net/weixin_52803142/article/details/121821777

版权

在编写代码前要有几个前提条件

1.在hive里创建hive分区表并指定分区字段

import org.apache.spark.sql.SparkSession
import org.apache.spark.SparkConf
object jjjjj {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("jjjjj").setMaster("local")
    val spark = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()
    import spark.implicits._
    //链接mysql将数据抽取出来
    val mydata = spark.read.format("jdbc")
      .option("url", "jdbc:mysql://127.0.0.1:3306/text")
      .option("driver", "com.mysql.jdbc.Driver")
      .option("user", "root")
      .option("password", "123")
      .option("dbtable", "oo").load()
     spark.sql(set hive.exec.dynamic.partition =true)//开启hive的动态分区功能
    mydata.coalesce(100).write().format("hive").mode(SaveMode.Overwrite).insertInto("oo")