Spark 添加复用JDBC Schema功能

原创 2015年11月18日 11:19:29


1)   修改原因

  用户需要阅读大量相同的数据库表,比如相同schema的表有1000张(比如对mysql进行分表分库)需要全读,每次建立dataframe的时候需要通过jdbcrelation去查询每一张表的schema,需要消耗了大量时间。本文对提出一种修改办法,如果用户知道表的sechema相同,可以使用sechema复用功能。

 

2)   代码流程

val df = sqlContext.read().format("jdbc").options(dfOptions).load();

->resolved= ResolvedDataSource(

      sqlContext,

      userSpecifiedSchema =userSpecifiedSchema,

      partitionColumns = Array.empty[String],

      provider = source,

      options = extraOptions.toMap)  //解析数据源,获取jdbc、parquet、josn的schema参数

->dataSource.createRelation(sqlContext,new CaseInsensitiveMap(options)) //传入options

->JDBCRelation(url, table, parts, properties)(sqlContext)  //获取jdbc的relation

->override val schema= JDBCRDD.resolveTable(url, table, properties)  //获取schema

->conn.prepareStatement(s"SELECT * FROM $table WHERE1=0").executeQuery() //直接读取database,需要优化

 

3)   修改方法

在用户知道schema的情况下,没有必要重复获取schema;

用户定义是否需要重复使用schema,修改代码流程最小;

修改方法:

a)      用户通过Options传入需要复用schema的开关:

   dfOptions.put("jdbcschemakey","sparkourtest");

b)     建立一个hashtable,保存已经获取的shema

val schemaHashTable= newjava.util.HashMap[String,StructType]()

c)      schema获取流程:


4)   修改代码

29a30

> import org.apache.spark.Logging

40c41

< private[sql] object JDBCRelation {

---

> private[sql] object JDBCRelation{

48a50,55

>

>

>   // add by Ricky for get same table schema

>

>   val schemaHashTable= new java.util.HashMap[String,StructType]()

>

117c124

< private[sql] case class JDBCRelation(

---

> private[sql] case class JDBCRelation  (

124c131

<   with InsertableRelation {

---

>   with InsertableRelation with Logging{

128c135,160

<   override val schema: StructType = JDBCRDD.resolveTable(url, table, properties)

---

>

>   // add by Ricky for get same table schema

>   def  getSchema():StructType={

>     //val schemaKey = properties.getProperty("jdbcSchemaKey")

>     val schemaKey = properties.getProperty("jdbcschemakey")

>     if (schemaKey != null) {

>       val schemaStored = JDBCRelation.schemaHashTable.get(schemaKey)

>       if (schemaStored != null) {

>         schemaStored

>       } else {

>         val schemaStored = JDBCRDD.resolveTable(url, table, properties)

>         logInfo("schemaKey configed,schemaHashTable empty,now put  "+schemaKey.toString)

>         JDBCRelation.schemaHashTable.put(schemaKey, schemaStored)

>         schemaStored

>       }

>     }

>     else

>     {

>       JDBCRDD.resolveTable(url, table, properties)

>     }

>

>   }

>

>   override val schema: StructType = getSchema()

> // end by Ricky

> //  override val schema: StructType = JDBCRDD.resolveTable(url, table, properties)

版权声明:本文为博主原创文章,未经博主允许不得转载。

Spring JDBC详解

《Spring JDBC详解》本文旨在讲述Spring JDBC模块的用法。Spring JDBC模块是Spring框架的基础模块之一。作者:chszs,转载需注明。博客主页:http://blog....
  • chszs
  • chszs
  • 2015年02月27日 20:41
  • 27560

mysql/jdbc:设置useInformationSchema=true读取表注释信息(table_comment)

问题描述今天在读取表的注释信息(COMMENT)时,发现返回的REMARKS字段返回居然是null. 以下是代码示例: DatabaseMetaData meta = this.pConnectio...
  • 10km
  • 10km
  • 2017年08月19日 00:07
  • 656

Spark SQL通过JDBC连接MySQL读写数据

Spark SQL通过JDBC连接MySQL读写数据 来源:传智播客云计算学科 转自:http://heb.itcast.cn/news/20151229/16012088060.shtm...

Spark中DataFrame的schema讲解

代码+图文讲解Spark中DataFrame的schema

spark-通过StructType直接指定Schema

package cn.itcast.spark.sql import org.apache.spark.sql.{Row, SQLContext} import org.apache.spark.s...

SparkSQL schema创建DataFrame

通过case class创建DataFrame通过case class 把rdd转化为DF是我们常用的方法,当字段较多时,就不方便用case class来创建DataFrame。可以使用SparkSQ...
  • Ntozot
  • Ntozot
  • 2016年12月27日 10:22
  • 1303

Spark DataFrames入门指南:创建和操作DataFrame

一、从csv文件创建DataFrame   本文将介绍如何从csv文件创建DataFrame。 如何做?   从csv文件创建DataFrame主要包括以下几步骤:   1、在build....
  • LW_GHY
  • LW_GHY
  • 2016年05月23日 11:56
  • 37239

Atitit. 数据库-----catalog与schema的设计区别以及在实际中使用 获取数据库所有库表 java jdbc php  c#.Net

Atitit. 数据库-----catalog与schema的设计区别以及在实际中使用 获取数据库所有库表 java jdbc php  c#.Net   1. -catalog与schema的设...
  • attilax
  • attilax
  • 2016年01月12日 00:11
  • 654

org.hibernate.tool.schema.spi.CommandAcceptanceException: Error executing DDL via JDBC Statement错误

错误详情org.hibernate.tool.schema.spi.CommandAcceptanceException: Error executing DDL via JDBC Statement...

JavaWeb的数据库操作:通过JDBC连接MySQL数据库实现图书信息添加功能

JavaWeb的数据库操作 JDBC[Java数据库连接:Java Data Base Connectivity]连接数据局的过程: 1、注册数据库驱动: 连...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark 添加复用JDBC Schema功能
举报原因:
原因补充:

(最多只允许输入30个字)