val stmt = SQLUtils.parseSingleStatement(sql, dbType)
val visitor = SQLUtils.createSchemaStatVisitor(dbType)
stmt.accept(visitor)
visitor.getTables().asScala.map { f =>
val dbAndTable = f._1.getName
if (dbAndTable.contains(“.”)) {
val Array(db, table) = dbAndTable.split(“\.”, 2)
(db ,table)
} else (dbAndTable, None)
}.toList
}
2. 查询表的元数据信息
//streaming.core.datasource.JDBCUtils
def queryTableWithColumnsInDriver(options: Map[String, String] ,tableList: List[String]) = {
val tableAndCols = mutable.HashMap.empty[String, mutable.HashMap[String ,String]]
val driver = options(“driver”)
val url = options(“url”)
Class.forName(driver)
val connection = java.sql.DriverManager.getConnection(url, options(“user”), options(“password”))
try {
val dbMetaData = connection.getMetaData()
tableList.foreach(table => {
val rs = dbMetaData.getColumns(null, null, table, “%”)
val value = tableAndCols.getOrElse(table, mutable.HashMap.empty[String ,String])
while(rs.next()){
value += (rs.getString(“COLUMN_NAME”) -> rs.getString(“TYPE_NAME”))
}
tableAndCols.update(table, value)
rs.close()
})
} finally {
if (connection != null)
connection.close()
}
tableAndCols
}
3. 根据表的元数据信息,构造表的创建语句,用于构造SchemaRepository
//streaming.core.datasource.JDBCUtils
def tableColumnsToCreateSql(tableClos: mutable.HashMap[String, mutable.HashMap[String, String]]) = {
val createSqlList = mutable.ArrayBuffer.empty[String]
tableClos.foreach(table => {
var createSql = “create table " + table._1 + " (” +
table._2.map(m => m._1 + " " + m._2)
.mkString(“,”) +
" )"
createSqlList += createSql
})
createSqlList.toList
}
4. 解析SQL的表和列
//tech.mlsql.sql.MLSQLSQLParser
def extractTableWithColumns(dbType :String ,sql :String ,createSchemaList :List[String]) = {
val tableAndCols = mutable.HashMap.empty[String, mutable.HashSet[String]]
val repository = new SchemaRepository(dbType)
createSchemaList.foreach(repository.console(_))
val stmtList = SQLUtils.parseStatements(sql, dbType)
val stmt = stmtList.get(0).asInstanceOf[SQLSelectStatement]
repository.resolve(stmt)
val statVisitor = SQLUtils.createSchemaStatVisitor(dbType)
stmt.accept(statVisitor)
val iter = statVisitor.getColumns().iterator()
while(iter.hasNext()){
val c = iter.next()
if(c.isSelect()){
val value = tableAndCols.getOrElse(c.getTable, mutable.HashSet.empty[String])
value.add(c.getName)
tableAndCols.update(c.getTable, value)
}
}
tableAndCols
}
下面来看一下整个流程:
val sql =
“”"
|select name ,country
| from c5_user a
| left join c5_country b
| on a.id = b.id
“”".stripMargin
val params = Map(“driver”->“com.mysql.jdbc.Driver” ,
“url”->“jdbc:mysql://127.0.0.1:3306/test” ,
“user”->“root” ,
“password”->“mlsql”)
val rest = extractTablesFromSQL(sql)
val tableList = extractTablesFromSQL(sql).map(_._1)
val tableColsMap = queryTableWithColumnsInDriver(params, tableList)
val createSqlList = tableColumnsToCreateSql(tableColsMap)
println(“创建SQL:”)
createSqlList.foreach(println(_))
val tableAndCols = extractTableWithColumns(JdbcConstants.MYSQL, sql, createSqlList)
println(“表列信息:”)
println(tableAndCols)
--------------------------------------------------------------------------------------
输出结果:
创建SQL:
create table c5_country (country VARCHAR,id VARCHAR )
create table c5_user (name VARCHAR,id VARCHAR )
表列信息:
Map(c5_country -> Set(country), c5_user -> Set(name))
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)
最后
我想问下大家当初选择做程序员的初衷是什么?有思考过这个问题吗?高薪?热爱?
既然入了这行就应该知道,这个行业是靠本事吃饭的,你想要拿高薪没有问题,请好好磨练自己的技术,不要抱怨。有的人通过培训可以让自己成长,有些人可以通过自律强大的自学能力成长,如果你两者都不占,还怎么拿高薪?
架构师是很多程序员的职业目标,一个好的架构师是不愁所谓的35岁高龄门槛的,到了那个时候,照样大把的企业挖他。为什么很多人想进阿里巴巴,无非不是福利待遇好以及优质的人脉资源,这对个人职业发展是有非常大帮助的。
如果你也想成为一名好的架构师,那或许这份Java核心架构笔记你需要阅读阅读,希望能够对你的职业发展有所帮助。
中高级开发必知必会:
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
职业目标,一个好的架构师是不愁所谓的35岁高龄门槛的,到了那个时候,照样大把的企业挖他。为什么很多人想进阿里巴巴,无非不是福利待遇好以及优质的人脉资源,这对个人职业发展是有非常大帮助的。
如果你也想成为一名好的架构师,那或许这份Java核心架构笔记你需要阅读阅读,希望能够对你的职业发展有所帮助。
中高级开发必知必会:
[外链图片转存中…(img-1jxVvyF0-1713055411460)]
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!