sparkSQL 从MySQL数据源读取数据【demo 程序篇 ReadDataFromMysql】

最新推荐文章于 2023-12-13 16:37:21 发布

字母的艺术

最新推荐文章于 2023-12-13 16:37:21 发布

阅读量621

点赞数

分类专栏： hadoop 大数据技术学习文章标签： sparksql mysql

本文链接：https://blog.csdn.net/py_tamir/article/details/88052681

版权

hadoop 同时被 2 个专栏收录

47 篇文章 0 订阅

订阅专栏

大数据技术学习

31 篇文章 0 订阅

订阅专栏

demo 程序篇

package cn.demo.sql

import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}

object ReadDataFromMysql {
  def main(args: Array[String]): Unit = {

    // 设置程序入口参数
    val conf = new SparkConf().setAppName("DataFromMysql").setMaster("local")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    // 创建数据库链接，加载数据，默认转为df
    val jdbcDF = sqlContext.read.format("jdbc")
      .options(Map("url" -> "jdbc:mysql://192.168.2.181:3306/urldb",
        "driver" -> "com.mysql.jdbc.Driver",
        "dbtable" -> "url_rule",
        "user" -> "root",
        "password" -> "123")).load()

    // df 注册为表，方便sql操作
    jdbcDF.registerTempTable("person")
    sqlContext.sql("select * from person").show()
    sc.stop()
  }
}