Spark-SQL之JDBC数据源_spark using jdbc-CSDN博客

本文链接：https://blog.csdn.net/S_Running_snail/article/details/89281350

该博客介绍了如何利用Spark SQL的JDBC数据源从MySQL等关系型数据库中读取数据。通过DataFrame进行处理，适合对大规模数据进行分布式计算。文章提供了一个使用Spark SQL处理MySQL中脏数据并进行复杂业务逻辑的例子。

摘要由CSDN通过智能技术生成

JDBC数据源

Spark SQL支持使用JDBC从关系型数据库（比如MySQL）中读取数据。读取的数据，依然由DataFrame表示，可以很方便地使用Spark Core提供的各种算子进行处理。

创建方式：

查询时连接Mysql：

用Spark SQL处理JDBC中的数据是非常有用的。比如说，你的MySQL业务数据库中，有大量的数据，比如1000万，然后，你现在需要编写一个程序，对线上的脏数据某种复杂业务逻辑的处理，甚至复杂到可能涉及到要用Spark SQL反复查询Hive中的数据，来进行关联处理。

那么此时，用Spark SQL来通过JDBC数据源，加载MySQL中的数据，然后通过各种算子进行处理，是最好的选择。因为Spark是分布式的计算框架，对于1000万数据，肯定是分布式处理的。而如果你自己手工编写一个Java程序，那么不好意思，你只能分批次处理了，先处理2万条，再处理2万条，运行太耗时间。

案例：

package Spark_SQL.Hive_sql;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.fu