数据治理-表模型使用频率如何统计？来实现末尾淘汰？

原文来自：公众号：阿龙学堂

数据治理-表模型使用频率如何统计？来实现末尾淘汰？

1、统一查询

        当有了数据中台，所有查询请求就要进入到数据中台来进行查询。这个时候就要在权限控制，脱敏等方面进行安全法律控制，但数据中台从技术上来看，数据必须要更新迭代，不能一直入库，不能删除，数据量会越来越大。维护成本极高。为了解决这一问题，我们就要对数据查询的SQL就要进行监控，分析处理来得到他的信息。

2、模型使用频率监控

        解析SQL用到了哪些表，可以对表模型进行优胜虐汰，使用频率最低的top5在下个阶段下线处理。大SQL用啥解析了？

推荐使用 [SQL解释器(JSqlParser)]

3、SQL解释器(JSqlParser)使用

3.1、概述

        JSqlParser能够解析SQL语句并翻译成一个Java类层次结构。它具有扩展的SQL语法，不仅限于一个数据库，而且还支持Oracle，SqlServer，MySQL，PostgreSQL等许多数据库。

3.2、入门操作

1、添加依赖

JSqlParser的依赖已经添加到了盘古common包中，使用时，引入common包即可。

<!--maven依赖 --><dependency>    <groupId>com.github.jsqlparser</groupId>    <artifactId>jsqlparser</artifactId>    <version>3.2</version></dependency>

2、使用方法

        解析SQL语句前需要先创建数据库操作类。CCJSqlParserManager类是用于创建对数据库操作接口类Statement。Statement包含了对数据库的查询、插入、修改等多种操作。此外，JSqlParser中也提供了工具类CCJSqlParserUtil，通过parse方法，也可以创建Statement类。下面介绍几种使用方式。

▪️查询表名 table

​​​​​​​

private static List<String> test_select_table(String sql) 
throws JSQLParserException {        Statement statement = CCJSqlParserUtil.parse(sql);        Select selectStatement = (Select) statement;        TablesNamesFinder tablesNamesFinder = new TablesNamesFinder();        return tablesNamesFinder.getTableList(selectStatement);    }