将hive中的表移至mysql

mysql和navicate的安装 在mysql专栏下，之前写过，需要的自己翻之前的博客

一、在hive中准备一个表

注意：hive的元数据需开启

nohup hive --service metastore >> metastore.log 2>&1 &

二、在mysql中创建对应字段的表

三、编写idea代码

package com.hgh.ads

import java.util.Properties
import org.apache.spark.sql.{DataFrame, SparkSession}

object positiontype {
    def main(args: Array[String]): Unit = {
        val spark :SparkSession =SparkSession.builder()
                .enableHiveSupport()
                .appName("PositiontypeJob")
                .config("spark.sql.shuffle.partitions", 2)
                .getOrCreate()
        val result: DataFrame =spark.sql(
            """
              |select * from ads.ads_positiontype
              |
            """.stripMargin)
        val pro: Properties = new Properties()
        pro.setProperty("user","root")
        pro.setProperty("password","123456")
        result.write
                .mode("overwrite")
                .jdbc("jdbc:mysql://master:3306/user?serverTimezone=UTC&characterEncoding=utf-8",
                    "positiontype", pro)
        spark.stop()
        

    }

}

本地运行不了，需打包到集群中运行，此处spark模式为onyarn模式

spark-submit --master yarn-client --class com.hgh.ads.positiontype Graduation-1.0-SNAPSHOT.jar

运行成功

在Navicat中刷新查看