spark sql对hive中数据进行处理和存储

首先创建一个scala工程叫做myhctest

因为运行会产生很多日志信息 着你喔导入一个叫log4j的文件进行消除

然后创建以下几个类和特质

 首先SaveTrait

trait SaveTrait {
  def dfSave(indf:DataFrame, ctx:SparkSession, tableName:String):Unit
}
//构建方法 indf是传入的dataframe也就是传入你hive中的表 
//因为spark sql是用的sparkSession中的所以后续要书写一个sparksession类
// tablenname也就是你要重新保存的表名称

 hivesaveimpl

trait HiveSaveImpl extends SaveTrait {
  override def dfSave(indf: DataFrame, ctx:SparkSession, tableName: String): Unit = {
    indf.createOrReplaceTempView("hctest")//创建一个临时视图
    ctx.sql("insert overwrite table "+tableName+" select * from hctest")
  }

}

 mysqlsaveimpl

trait MySqlSaveImpl extends SaveTrait {
  override def dfSave(indf: DataFrame, ctx:SparkSession, tableName:String)= {
    val prop = new Propertie
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值