scala IO从URL和其他数据源读取数据

import scala.io.Source

object D04_从URL和其他数据源读取数据 {

  def main(args: Array[String]): Unit = {
    readFromURL()
//    readFromStr()
  }

  def readFromURL(): Unit = {
    val source = Source.fromURL("https://www.itcast.cn/")
    val str = source.mkString
    println(str)
  }

  def readFromStr(): Unit = {
    val source = Source.fromString("黑马程序员")
    val value = source.mkString
    println(value)
  }

}
在 Spark SQL 中,可以通过 JDBC 数据源和 DataFrame API 从数据库中读取数据。下面是两种方式的详细说明: 1. JDBC 数据源 使用 JDBC 数据源可以直接从关系型数据库中读取数据。首先需要在 Spark 中添加 JDBC 驱动程序,例如: ```scala spark-shell --driver-class-path mysql-connector-java.jar --jars mysql-connector-java.jar ``` 然后可以使用 `spark.read.jdbc()` 方法读取数据,例如: ```scala val jdbcDF = spark.read.format("jdbc") .option("url", "jdbc:mysql://localhost:3306/mydatabase") .option("dbtable", "mytable") .option("user", "myuser") .option("password", "mypassword") .load() ``` 这个例子中,我们使用 MySQL 数据库,并读取了 `mytable` 表的数据。 2. DataFrame API DataFrame API 是 Spark SQL 中的核心 API,可以通过它从多种数据源读取数据,包括文件、Hive 表、JDBC 数据源等。使用 DataFrame API 读取数据库中的数据,可以采用以下步骤: 1. 创建 JDBC 连接 ```scala val jdbcUrl = "jdbc:mysql://localhost:3306/mydatabase" val jdbcUsername = "myuser" val jdbcPassword = "mypassword" val jdbcDriver = "com.mysql.jdbc.Driver" Class.forName(jdbcDriver) val connection = DriverManager.getConnection(jdbcUrl, jdbcUsername, jdbcPassword) ``` 2. 执行 SQL 查询 ```scala val statement = connection.createStatement() val query = "SELECT * FROM mytable" val resultSet = statement.executeQuery(query) ``` 3. 将结果转换为 DataFrame ```scala val schema = StructType( Seq( StructField("id", IntegerType, nullable = false), StructField("name", StringType, nullable = false), StructField("age", IntegerType, nullable = false) ) ) val rows = new ArrayBuffer[Row]() while (resultSet.next()) { val id = resultSet.getInt("id") val name = resultSet.getString("name") val age = resultSet.getInt("age") rows += Row(id, name, age) } val rdd = spark.sparkContext.parallelize(rows) val df = spark.createDataFrame(rdd, schema) ``` 这个例子中,我们手动创建了 DataFrame 的结构,并将查询结果转换为 DataFrame。注意,在实际生产环境中,应该避免手动创建 DataFrame 的结构,而是使用 Spark SQL 自动推断结构的功能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值