spark从mysql读取数据_Spark之读取MySQL数据的五种方式

本文介绍了使用Spark连接Mysql的五种方式。

主要内容：

不指定查询条件

指定数据库字段的范围

根据任意字段进行分区

通过load获取，和方式二类似

加载条件查询后的数据

1.不指定查询条件

def main(args: Array[String]): Unit = {

val spark =

SparkSession.builder()

.appName("MysqlSupport")

.master("local[2]")

.getOrCreate()

method1(spark)

//method2(spark)

//method3(spark)

//method4(spark)

//method5(spark)

}

/**

* 方式一：不指定查询条件

* 所有的数据由RDD的一个分区处理，如果你这个表很大，很可能会出现OOM

*

* @param spark

*/

def method1(spark: SparkSession): Unit = {

val url = "jdbc:mysql://127.0.0.1:3306/test?user=root&password=root"

val prop = new Properties()

val df = spark.read.jdbc(url, "t_score", prop)