spark并行读数据库

最新推荐文章于 2023-01-10 14:11:37 发布

LEEEEEO_

最新推荐文章于 2023-01-10 14:11:37 发布

阅读量388

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/weixin_44153936/article/details/109847519

版权

spark 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

spark并行读数据库

Spark有一个底层算法，可以将多个文件放入一个数据分片，也可以将一个文件划分到多个数据分片，这取决于文件大小以及文件类型和压缩格式是否允许
SQL数据库中也存在与文件一样的分片灵活性，但是需要手动配置他， 可以通过制定最大分区数量来限制并行读写的最大数量：

val conf = new SparkConf().setAppName("testMysqlToHiveJdbc")                                         .setMaster("local")
val spark = SparkSession.builder()
    .config(conf)
    .enableHiveSupport()
    .getOrCreate()
 定义Propertites，确定链接MySQL的参数
val mysqlProperties = new java.util.Properties()
 //MySQL的jdbc链接
val mysqlConnectionUrl = "jdbc:mysql://localhost:3306/rest"
 //定义检索语句，用于MySQL链接
val mysqlTableName = """(select t.*,
 case when id<4000000 and id >=0 then 1
         when id<8000000 and id >=4000000 then 2
         when id<12000000 and id >=8000000 then 3
         when id<16000000 and id >=12000000 then 4
         when id<20000000 and id >=16000000 then 5
 else 6 end par
      from usppa_twitter_data t) tt"""
 //    val mysqlTableName = "usppa_twitter_data"
mysqlProperties.put("driver","com.mysql.jdbc.Driver")   //确定driver
mysqlProperties.put("user","root")          //用户名
mysqlProperties.put("password","1234")      //密码
mysqlProperties.put("fetchsize","10000")     //批次取数数量
mysqlProperties.put("lowerBound","1")        //确定分区
mysqlProperties.put("upperBound","7")           //确定分区
mysqlProperties.put("numPartitions","6")        //分区数量
mysqlProperties.put("partitionColumn","par")    //分区字段

 //读取数据
val re = spark.read.jdbc(mysqlConnectionUrl, 
                mysqlTableName,mysqlProperties)
 //写入Hive表中
re.toDF().write.mode("overwrite").saveAsTable("testwarehouse.testtt")