import org.apache.spark.sql.SparkSession
object SparkToMysql {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder().appName("toSQL")
.master("local[*]")
.config("hive.metastore.uris", "thrift://192.168.150.100:9083")//写自己的地址
.enableHiveSupport()
.getOrCreate()
//后面加上自己地址:3306和数据库名
val url = "jdbc:mysql://192.168.150.100:3306/test"
val user = "root" //数据库用户名
val pwd = "" //数据库密码
val properties = new java.util.Properties()
properties.setProperty("user", user)
properties.setProperty("", pwd)
properties.setProperty("driver", "com.mysql.jdbc.Driver")
//需要连接的表名
val tableDF = spark.read.jdbc(url, "subject", properties)
tableDF.printSchema()
tableDF.show()
//导入sparkSQL内置函数
import org.apache.spark.sql.functions._
val frame = tableDF.agg(max("classHour"))
//把计算后的结果写入 与原表相同的路径 的新表
//第二个参数是新表名,已有的表名会报错
frame.write.jdbc(url, "SparkTest", properties)
}
}
如何使用Spark连接MySQL数据库
最新推荐文章于 2024-03-04 07:25:46 发布