Spark-SQL连接MySql关系型数据库

　　本文主要分析Spark SQL官方文档中有关于 JDBC To Other Databases部分，以MySQL数据库为例，结合数据读写操作的实例代码进行详细的分析。 本文中的代码需要使用到Mysql JDBC连接jar包。

一、从mysql读取数据

1、单表查询

　　完整程序如下：

package com.ckm.spark.sql

import java.util.Properties

import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}

/**
 * Created by ckm on 2016/9/26.
 */
object SelectFromOneTable {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setAppName("Spark SQL Test Case").setMaster("local[2]")
    val sparkContext = new SparkContext(sparkConf)

    val sqlContext = new SQLContext(sparkContext)
    val properties = new Properties()
    val url = "jdbc:mysql://m000:3306/test"

    val jdbcDF = sqlContext.read.format("jdbc").options(
      Map("url" -> url,
      "user" -> "root",
      "password" -> "root",
      "dbtable" -> "spark_sql_test1")).load()
    jdbcDF.registerTempTable("test1")
    sqlContext.sql("select * from test1 where id > 10").collect().take(10).foreach(println)
  }
}

　　在debug过程中，上面的程序直到最后一行才开始真正的在mysql中执行sql查询。此时 在Mysql中可以看到当前正在运行的sql语句。
　　

　　上面代码运行的最终结果如下：

　　

2、多表join查询

转载于:https://www.cnblogs.com/wuyida/p/6300270.html