首先创建一个scala工程叫做myhctest
因为运行会产生很多日志信息 着你喔导入一个叫log4j的文件进行消除
然后创建以下几个类和特质
首先SaveTrait
trait SaveTrait {
def dfSave(indf:DataFrame, ctx:SparkSession, tableName:String):Unit
}
//构建方法 indf是传入的dataframe也就是传入你hive中的表
//因为spark sql是用的sparkSession中的所以后续要书写一个sparksession类
// tablenname也就是你要重新保存的表名称
hivesaveimpl
trait HiveSaveImpl extends SaveTrait {
override def dfSave(indf: DataFrame, ctx:SparkSession, tableName: String): Unit = {
indf.createOrReplaceTempView("hctest")//创建一个临时视图
ctx.sql("insert overwrite table "+tableName+" select * from hctest")
}
}
mysqlsaveimpl
trait MySqlSaveImpl extends SaveTrait {
override def dfSave(indf: DataFrame, ctx:SparkSession, tableName:String)= {
val prop = new Propertie