spark读取mysql某列值，封装成List集合

最新推荐文章于 2022-07-01 14:01:37 发布

一点IT技术

最新推荐文章于 2022-07-01 14:01:37 发布

阅读量1.1k

点赞数

分类专栏： Saprk 文章标签： spark

本文链接：https://blog.csdn.net/weixin_43239554/article/details/105771820

版权

Saprk 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

spark读取mysql某列值，封装成List集合

def main(args: Array[String]) = {

    Logger.getLogger("org").setLevel(Level.ERROR)

    val sparkSession = SparkSession
      .builder()
      .master("local[*]")
      .appName("readFromMysql")
      .config("spark.sql.broadcastTimeout", "36000")
      .getOrCreate()

    val mysqlReader: DataFrame = sparkSession.read.format("jdbc")
      .option("url", "jdbc:mysql://localhost:3306/online?rewriteBatchedStatements=true")
      .option("dbtable", "student")
      .option("user", "root")
      .option("password", "szroot")
      .load()

    mysqlReader.createOrReplaceTempView("student")
    val student: List[Row] = sparkSession.sql("select uv from student").rdd.collect().toList

     val strings: List[String] = student.map(row => row.mkString)

    for (elem <- strings) {
      println(elem)
    }


  }