Spark-SQL之JDBC与MySQL交互|从JDBC读取数据|向JDBC写数据

最新推荐文章于 2022-07-22 18:41:44 发布

SmallScorpion

最新推荐文章于 2022-07-22 18:41:44 发布

阅读量493

点赞数

分类专栏： Spark模块化学习文章标签： mysql 大数据

本文链接：https://blog.csdn.net/qq_40180229/article/details/105726877

版权

本文介绍了如何使用Spark SQL通过JDBC与MySQL数据库进行数据交互。内容包括导入JDBC依赖，从MySQL读取数据创建DataFrame，以及将DataFrame计算后的结果写回MySQL数据库的操作。

摘要由CSDN通过智能技术生成

MySQL

Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。
如果使用spark-shell操作，可在启动shell时指定相关的数据库驱动路径或者将相关的数据库驱动放到spark的类路径下。
bin/spark-shell --jars mysql-connector-java-5.1.27-bin.jar

导入依赖

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.27</version>
</dependency>

从JDBC读取数据

package com.atguigu.mySQL

import java.util.Properties

import org.apache.spark.SparkConf
import org.apache.spark.sql.{
   DataFrame, SparkSession}

object Read_Datasource {
   
  def main(args: Array[String]): Unit = {
   
    //创建上下文环境配置对象
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkSQL01_Demo")
    //创建