SparkSql连接MySQL,操作数据

需要导入mysql的驱动jar包
在这里插入图片描述

请看下面代码:

object DFMysql {
  // 样例类
  case class Person(name:String,kemu:String,score:Int)
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().appName("").master("local").getOrCreate()
    val sc = spark.sparkContext
    // 设置日志级别
    sc.setLogLevel("WARN")

    val rdd: RDD[String] = sc.textFile("E://aa.txt")
    val file: RDD[Array[String]] = rdd.map(_.split(","))
    // 把每个元素放进样例类里,注意类型要匹配
    val unit: RDD[Person] = file.map(x=>Person(x(0).toString,x(1).toString,x(2).toInt))

    // 隐式转换,转换为DateFrema
    import spark.implicits._
    val frameDF: DataFrame = unit.toDF()

	// 创建一个虚拟表
    frameDF.createOrReplaceTempView("student")

	// MySQL的配置信息,以下设置连接MySQL的用户和密码
    val pro = new Properties()
    pro.setProperty("user","root")
    pro.setProperty("password","123456")
    // 从mysql中的student表中读取数据	read
   // spark.read.jdbc("jdbc:mysql:///test","student",pro).show()

    // 在mysql创建一个student表,插入数据	write
    frameDF.write.jdbc("jdbc:mysql:///test","student",pro)

    sc.stop()
  }
}

欢迎各位大佬进行补充 (* ̄︶ ̄)

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值