spark写数据到mysql简便方法

最新推荐文章于 2022-12-21 23:29:51 发布

a姜哲雨

最新推荐文章于 2022-12-21 23:29:51 发布

阅读量516

点赞数

分类专栏： # Spark

本文链接：https://blog.csdn.net/weixin_42487460/article/details/108492094

版权

Spark 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

首先需要准备导入mysql的df，

  val res = userAction.join(buygoods,Seq("cust_id","good_id"),"left").join(users,Seq("cust_id"))
      .join(goods,Seq("good_id"))
      .na.fill(Map("buy_time"->"190001","buynum"->"0","count_price"->"0"))

执行以下指令，overwirte全量，append增量。
无需建表，但需要选择在mysql中存在的数据库

myex 是mysql中选择的数据库
spark_dm1是需要导入的表名，自动生成。

    //无需建表
    res.write.mode("overwrite")
      .format("jdbc")
      .option("url","jdbc:mysql://192.168.56.21:3306/myex")
      .option("dbtable","spark_dm1")
      .option("user","root")
      .option("password","ok").save()