spark读取数据库数据

最新推荐文章于 2024-07-29 17:54:27 发布

tang_xiaotang

最新推荐文章于 2024-07-29 17:54:27 发布

阅读量2.5k

点赞数

分类专栏： mysql scala

本文链接：https://blog.csdn.net/tang_xiaotang/article/details/80966945

版权

mysql 同时被 2 个专栏收录

13 篇文章 0 订阅

订阅专栏

scala

8 篇文章 1 订阅

订阅专栏

此代码是spark用于从mysql中读取数据

val conf = new SparkConf()

  .setMaster("local[*]")
  .setAppName("用户标签")
val sc = new SparkContext(conf)
val sqlC = new SQLContext(sc)

val url = "jdbc:mysql://地址/数据库名"
val tableName = "表名"

// 设置连接用户&密码
val prop = new java.util.Properties
prop.setProperty("user", "user")
prop.setProperty("password", "password")
val json: DataFrame = sqlC.read.jdbc(url, tableName, prop)