背景
之前在一家小公司工作时,由于没有完善的应用发布流程,包括配置发布平台,和数据库发布系统,导致测试环境正常的逻辑,到生产环境(3个某云服务器节点构成的带有负载均衡逻辑的集群应用)出现问题。排查才知道,有些字段未同步更新到生产环境。
问题:测试环境这么多数据表,我怎么知道哪些表字段更新有同步到生产环境呢?
调研
最简单的方法:对所有测试环境的数据库的所有数据表,借助于DataGrip工具及其快捷键Ctrl + Alt + G,生成每一个表的建表语句Schema,粘贴到一个文件。
对生产环境的数据表执行同样的操作,然后使用Beyond Compare这样的文本对比工具。效率很低很低。
当然可以基于某次发布时的业务变更,可以有选择性地只对比某几个表的差别。
得知Screw工具,可大大解放生产力;堪比数据库届的Swagger。
概述
参考GitHub,一款能够生成数据库表结构文档的高效工具,支持 MySQL、Oracle、PostgreSQL、Sql Server等主流的关系数据库。
生成的文档有 HTML、Word、Markdown三种格式。
有两种方式生成文档,Java 代码或 Maven 插件 。
实战
引入依赖:
<dependencies>
<dependency>
<groupId>cn.smallbun.screw</groupId>
<artifactId>screw-core</artifactId>
</dependency>
<dependency>
<groupId>com.zaxxer</groupId>
<artifactId>HikariCP</artifactId>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
</dependency>
</dependencies>
代码
创建 ScrewMain 类:
public class ScrewMain {
private static final String DB_URL = "jdbc:mysql://localhost:3306";
private static final String DB_NAME = "shop";
private static final String DB_USERNAME = "root";
private static final String DB_PASSWORD = "root";
private static final String FILE_OUTPUT_DIR = ".";
private static final EngineFileType FILE_OUTPUT_TYPE = EngineFileType.HTML; // Word/Markdown
private static final String DOC_FILE_NAME = "数据库文档";
private static final String DOC_VERSION = "1.0.0";
private static final String DOC_DESC = "文档描述";
public static void main(String[] args) {
Configuration config = Configuration.builder()
.version(DOC_VERSION)
.description(DOC_DESC)
.dataSource(buildDataSource())
.engineConfig(buildEngineConfig())
.produceConfig(buildProcessConfig())
.build();
new DocumentationExecute(config).execute();
}
/**
* 创建数据源
*/
private static DataSource buildDataSource() {
// 创建 HikariConfig 配置类
HikariConfig hikariConfig = new HikariConfig();
hikariConfig.setDriverClassName("com.mysql.cj.jdbc.Driver");
hikariConfig.setJdbcUrl(DB_URL + "/" + DB_NAME);
hikariConfig.setUsername(DB_USERNAME);
hikariConfig.setPassword(DB_PASSWORD);
hikariConfig.addDataSourceProperty("useInformationSchema", "true"); // 设置可以获取 tables remarks 信息
// 创建数据源
return new HikariDataSource(hikariConfig);
}
/**
* 创建 screw 的引擎配置
*/
private static EngineConfig buildEngineConfig() {
return EngineConfig.builder()
.fileOutputDir(FILE_OUTPUT_DIR)
.openOutputDir(false) // 打开目录
.fileType(FILE_OUTPUT_TYPE)
.produceType(EngineTemplateType.freemarker) // 文件类型
.fileName(DOC_FILE_NAME)
.build();
}
/**
* 创建 screw 的处理配置,一般可忽略
* 指定生成逻辑、当存在指定表、指定表前缀、指定表后缀时,将生成指定表,其余表不生成、并跳过忽略表配置
*/
private static ProcessConfig buildProcessConfig() {
return ProcessConfig.builder()
.designatedTableName(Collections.<String>emptyList()) // 根据名称指定表生成
.designatedTablePrefix(Collections.<String>emptyList()) //根据表前缀生成
.designatedTableSuffix(Collections.<String>emptyList()) // 根据表后缀生成
.ignoreTableName(Arrays.asList("test_user", "test_group")) // 忽略表名
.ignoreTablePrefix(Collections.singletonList("test_")) // 忽略表前缀
.ignoreTableSuffix(Collections.singletonList("_test")) // 忽略表后缀
.build();
}
}
Maven插件
<build>
<plugins>
<plugin>
<groupId>cn.smallbun.screw</groupId>
<artifactId>screw-maven-plugin</artifactId>
<version>1.0.5</version>
<dependencies>
<dependency>
<groupId>com.zaxxer</groupId>
<artifactId>HikariCP</artifactId>
<version>3.4.5</version>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.22</version>
</dependency>
</dependencies>
<configuration>
<driverClassName>com.mysql.cj.jdbc.Driver</driverClassName>
<jdbcUrl>jdbc:mysql://localhost:3306/shop</jdbcUrl>
<username>root</username>
<password>root</password>
<fileType>HTML</fileType>
<title>数据库文档</title>
<fileName>测试文档名称</fileName> <!--文档名称 为空时:将采用[数据库名称-描述-版本号]作为文档名称-->
<description>数据库文档生成</description>
<version>${project.version}</version>
<openOutputDir>false</openOutputDir>
<produceType>freemarker</produceType>
</configuration>
<executions>
<execution>
<phase>compile</phase>
<goals>
<goal>run</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
点击IDEA开发工具右侧的Maven面板,会发现Plugins里面多了一个screw,双击screw::run
即可。
拓展
screw除可以生成表结构,还具备mybatis-generator
类似功能,即根据数据库连接信息,生成数据表POJO,对应的Mapper接口,及对应的Mapper.xml
文件。
引入一个screw-extension
子模块:
<dependency>
<groupId>cn.smallbun.screw</groupId>
<artifactId>screw-extension</artifactId>
</dependency>
测试类:
public class ScrewMain {
private static final String DB_URL = "jdbc:mysql://localhost:3306";
private static final String DB_NAME = "shop";
private static final String DB_USERNAME = "root";
private static final String DB_PASSWORD = "root";
private static final String FILE_OUTPUT_DIR = ".";
private static final String JAVA_CLASS_PACKAGE = "com.johnny.po";
public static void main(String[] args) {
PojoConfiguration config = PojoConfiguration.builder()
.path(FILE_OUTPUT_DIR)
.packageName(JAVA_CLASS_PACKAGE)
.nameStrategy(new HumpNameStrategy()) // 包名策略
.useLombok(false)
.dataSource(buildDataSource())
.processConfig(buildProcessConfig())
.build();
new PojoExecute(config).execute();
}
private static DataSource buildDataSource() {
HikariConfig hikariConfig = new HikariConfig();
hikariConfig.setDriverClassName("com.mysql.cj.jdbc.Driver");
hikariConfig.setJdbcUrl(DB_URL + "/" + DB_NAME);
hikariConfig.setUsername(DB_USERNAME);
hikariConfig.setPassword(DB_PASSWORD);
hikariConfig.addDataSourceProperty("useInformationSchema", "true");
return new HikariDataSource(hikariConfig);
}
private static ProcessConfig buildProcessConfig() {
return ProcessConfig.builder()
.designatedTableName(Collections.<String>emptyList())
.designatedTablePrefix(Collections.<String>emptyList())
.designatedTableSuffix(Collections.<String>emptyList())
.ignoreTableName(Arrays.asList("test_user", "test_group"))
.ignoreTablePrefix(Collections.singletonList("test_"))
.ignoreTableSuffix(Collections.singletonList("_test"))
.build();
}
}
点击执行,即可生成