sparkSQL sparkSQL读写数据到MySQL

最新推荐文章于 2024-03-18 10:28:01 发布

爱吃甜食_

最新推荐文章于 2024-03-18 10:28:01 发布

阅读量3.2k

点赞数 4

分类专栏： Spark

本文链接：https://blog.csdn.net/a3125504x/article/details/108601855

版权

本文介绍了如何使用SparkSQL通过JDBC接口与MySQL进行数据交互，包括从MySQL读取数据创建DataFrame，DataFrame计算后写回MySQL，以及在集群上部署的步骤，并提到了相关pom依赖。

摘要由CSDN通过智能技术生成

前言

spark sql可以通过 JDBC 从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中

流程图
在这里插入图片描述

sparkSQL加载MySQL表中的数据

import java.util.Properties
import org.apache.spark.SparkConf
import org.apache.spark.sql.{
   DataFrame, SparkSession}

object dataFromMySQL {
   
  def main(args: Array[String]): Unit = {
   
    val conf: SparkConf = new SparkConf().setAppName("dataFromMySQL").setMaster("local[2]")
    val session: SparkSession = SparkSession.builder().config(conf).getOrCreate()
    //mysql config
    // 指定mysql连接地址
    val url="jdbc:mysql://node03:3306/spark"
    // 指定要加载的表名
    val tableName="sqlTest"
    // 配置连接数据库的相关属性
    val properties = new Properties()
    //用户名
    properties.setProperty("user","root")
    properties.setProperty("password","111111")
    val mysqlDF: DataFrame = session.read.jdbc(url,tableName,properties)
    mysqlDF.printSchema()
    mysqlDF.show()
    mysqlDF.createOrReplaceTempView("user")
    session.sql("select * from user where age > 10"