dbmock：mock mysql数据的小工具介绍及重构

已于 2024-09-05 07:57:54 修改
阅读量993 收藏 20
点赞数 9
分类专栏： 编程 文章标签： mysql 重构 数据库
于 2024-09-05 07:55:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43281011/article/details/141911398
版权

简介

dbmock是用来mock mysql数据的小工具。接口压测的时候，我们需要生成大量的数据，耗时耗力，dbmock可以通过简单的配置，批量生成表数据，包括关联表的数据。

代码仓库

gitee：https://gitee.com/mamba_tools/dbmock.git

github：https://github.com/qianguangtao/dbmock.git

代码说明

  • jdk 1.8+

  • hutool 5.8.10

  • fastjson 1.2.60

    在这里插入图片描述

配置说明

数据库连接配置

数据库操作使用hutool-db的，详情参看https://doc.hutool.cn/pages/db/index/

mock表信息配置

resources下新建table.json

配置名子配置配置类型配置说明示例
namestring表名
totalintmock表行数
columnList[]列配置
namestring列名
requiredbool是否必填；true|false
foreignKeystring表外键，格式：表名.列名“organ.id”
data多种类型，如下
string使用本表的另外一个字段“nickname”
[]数组中随机取值[0,1,2]
{}时间范围{“start”: “2024-01-01”, “end”: “2024-12-31”}

配置示例：

[
  {
    "name": "rdwh_work_project_info_2024",
    "total": 600000,
    "columnList": [
      {
        "name": "F_work_id",
        "foreignKey": "rdwh_work.F_Id"
      },
      {
        "name": "F_status",
        "data": [
          0,
          1
        ]
      },
      {
        "name": "F_Biz_type",
        "data": [
          "559006923546962181",
          "559006993503758597",
          "559007060453239045",
          "559007119194466565"
        ]
      },
      {
        "name": "F_hour_percentage",
        "required": true
      },
      {
        "name": "F_day",
        "data": {
          "start": "2024-01-01",
          "end": "2024-12-31"
        }
      },
      {
        "name": "F_work_day",
        "data": "F_day"
      } 
    ]
  }
]

应用配置

resources下新建application.properties

配置名配置类型配置说明示例
dbmock.idTypestringinsert主键生成类型String|int
dbmock.batchSizeint批量insert大小，每1000条insert一次1000
dbmock.tableFilestringmock表信息配置的json文件table.json

使用说明

调用 DBMock.mock() 即可

注意：数据库连接用户需要有 SHOW FULL COLUMNS FROM xxx 权限

代码重构

参见分支history

配置封装

优化前

App5.java

    static {
        // idPrefix = IdUtil.simpleUUID().substring(0, 5) + "-";
        idPrefix = "1";
    }

    static Random columnRandom = new Random();
    /** 主键前缀 */
    static String idPrefix;
    /** 批量insert的大小 */
    static Integer BATCH_SIZE = 1000;
    /** 配置文件 */
    static String TABLE_FILE = "table1.json";

优化后

MockConfigProperties.java

public interface MockConfigProperties {
    /**
     * 获取ID前缀
     * @return 返回ID前缀的字符串
     */
    String getIdPrefix();

    /**
     * 获取批量处理大小。
     * @return 批量处理大小的整数值
     */
    Integer getBatchSize();

    /**
     * 获取表格文件路径。
     * @return 表格文件路径的字符串表示
     */
    String getTableFile();
}

MockConfigPropertiesBean implements MockConfigProperties

public class MockConfigPropertiesBean implements MockConfigProperties {

    private final String idType;
    private final Integer batchSize;
    private final String tableFile;
    private final static String ID_TYPE_STRING = "String";
    private final static String ID_TYPE_INT = "int";
    private final static String ID_PREFIX_STRING = IdUtil.simpleUUID().substring(0, 5) + "-";
    private final static String ID_PREFIX_INT = Convert.toStr(new Random().nextInt(999));

    /**
     * MockConfigPropertiesBean的构造函数，用于初始化MockConfigPropertiesBean对象
     * 从application.properties文件中读取配置信息，并设置idType、batchSize和tableFile等属性
     * @throws RuntimeException 如果读取配置文件时发生IO异常，则抛出运行时异常
     */
    public MockConfigPropertiesBean() {
        ClassPathResource cpr = new ClassPathResource("application.properties");
        InputStream inputStream = cpr.getStream();
        Properties properties = new Properties();
        try {
            properties.load(inputStream);
            idType = StrUtil.isNotBlank(properties.getProperty("dbmock.idType")) ? properties.getProperty("dbmock.idType").trim() : "String";
            batchSize = StrUtil.isNotBlank(properties.getProperty("dbmock.batchSize")) ? Integer.parseInt(properties.getProperty("dbmock.batchSize").trim()) : 1000;
            tableFile = StrUtil.isNotBlank(properties.getProperty("dbmock.tableFile")) ? properties.getProperty("dbmock.tableFile").trim() : "table.json";
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }

    @Override
    public String getIdPrefix() {
        if (ID_TYPE_STRING.equals(idType)) {
            return ID_PREFIX_STRING;
        } else {
            return ID_PREFIX_INT;
        }
    }

    @Override
    public Integer getBatchSize() {
        return batchSize;
    }

    @Override
    public String getTableFile() {
        return tableFile;
    }
}

单例模式

MockConfig.java

以单例模式封装所有配置（table.json+application.properties）

@Data
public class MockConfig {
    private List<Table> tablesList;
    private Map<String, Integer> tableTotalMap;
    private ConcurrentHashMap<String, String> dependKeyMap;
    private MockConfigProperties mockConfigProperties;
    private Random columnRandom = new Random();

    /**
     * 从文件中获取表格列表
     * @param fileClassPath 文件的类路径
     * @return 包含表格对象的列表
     * @throws IOException 如果文件读取失败
     */
    private List<Table> getTableListFromFile(String fileClassPath) {
        ClassPathResource cpr = new ClassPathResource(fileClassPath);
        String s = new String(cpr.readBytes());
        return JSON.parseObject(s, new TypeReference<List<Table>>() {
        });
    }

    /**
     * 获取MockConfig的实例对象。
     * @return 返回MockConfig的实例对象
     */
    public static MockConfig getInstance() {
        return InstanceIdGeneratorHolder.instance;
    }

    /**
     * 构造方法，私有构造函数，防止外部实例化。
     * 初始化mockConfigProperties对象，从文件中读取表格列表，并构建表格总数映射表和依赖关系映射表。
     */
    private MockConfig() {
        mockConfigProperties = new MockConfigPropertiesBean();
        tablesList = getTableListFromFile(mockConfigProperties.getTableFile());
        tableTotalMap = tablesList.stream().collect(Collectors.toMap(Table::getName, t -> t.getTotal()));
        dependKeyMap = new ConcurrentHashMap<>();
    }

    private static class InstanceIdGeneratorHolder {
        static MockConfig instance = new MockConfig();
    }

}

工厂模式

简单工厂

优化前

App5.java

   public static List<String> calculateColumnValue(Map<String, Integer> tableTotalMap, List<String> columnNameList, Map<String, Column> columnMap, int index, int total) {
        List<String> valueList = new ArrayList<>();
        Map<String, String> dependKeyMap = new HashMap<>();
        for (String columnName : columnNameList) {
            String columnValue = null;
            Column column = columnMap.get(columnName);
            if (column.getIsKey()) {
                columnValue = getColumnValue(idPrefix + index, column);
            } else if (ObjectUtil.isNotNull(column.getData())) {
                columnValue = calculateColumnValueByDataConfig(column, dependKeyMap);
            } else if (ObjectUtil.isNotNull(column.getForeignKey())) {
                // 处理字段是另一个表的主键，这里table和fkTable是n:1的关系，将fkTable的主键（total）平均分配到table
                String fkTable = column.getForeignKey().split("\\.")[0];
                Integer fkTableTotal = tableTotalMap.get(fkTable);
                int percent = total / fkTableTotal;
                int data = (index - 1) / percent + 1;
                columnValue = getColumnValue(idPrefix + data, column);
            } else {
                // 处理普通的非空字段
                columnValue = getDefaultColumnValue(column);
            }
            dependKeyMap.put(columnName, columnValue);
            valueList.add(columnValue);
        }
        return valueList;
    }

优化后

MockColumnFactory.java

public class MockColumnFactory {
    /**
     * 根据给定的列、总数和索引返回一个抽象的模拟列对象。
     * @param column 给定的列对象
     * @param total  给定的总数
     * @param index  给定的索引
     * @return 返回一个抽象的模拟列对象
     */
    public static AbstractMockColumn getMockColumn(Column column, int total, int index) {
        if (column.getIsKey()) {
            return new PrimaryKeyMockColumn(column, total, index);
        } else if (ObjectUtil.isNotNull(column.getData())) {
            return new DataMockColumn(column, total, index);
        } else if (ObjectUtil.isNotNull(column.getForeignKey())) {
            return new ForeignKeyMockColumn(column, total, index);
        } else {
            return new DefaultMockColumn(column, total, index);
        }
    }
}

AbstractMockColumn.java

@Data
public abstract class AbstractMockColumn {
    private Column column;
    private int total;
    private int index;

    /**
     * 获取列值
     * @return 返回列值的字符串形式
     */
    public abstract String getColumnValue();

    /**
     * 获取列值的insert values表示形式（字符串有''）
     * @param value 列值
     * @return 列值的字符串表示形式
     */
    public String getColumnValue(Object value) {
        if (this.getColumn().getJdbcType().clazz == String.class
                || (this.getColumn().getJdbcType().clazz == LocalDate.class)
                || (this.getColumn().getJdbcType().clazz == LocalDateTime.class)) {
            return "'" + Convert.toStr(value) + "'";
        } else {
            return Convert.toStr(value);
        }
    }

    /**
     * 获取列默认值的字符串表示形式
     * @return 列默认值的字符串表示形式
     */
    public String getDefaultColumnValue() {
        String columnValue;
        if (this.getColumn().getJdbcType().clazz == LocalDate.class) {
            return "'" + DateUtil.format(new Date(), DatePattern.NORM_DATE_PATTERN) + "'";
        } else if (this.getColumn().getJdbcType().clazz == LocalDateTime.class) {
            return "'" + DateUtil.format(new Date(), DatePattern.NORM_DATETIME_PATTERN) + "'";
        } else if (this.getColumn().getJdbcType() == JdbcType.TEXT) {
            return "'" + this.getColumn().getName() + "'";
        } else {
            StringBuilder sb = new StringBuilder();
            for (int i = 0; i < this.getColumn().getLength(); i++) {
                sb.append("1");
            }
            columnValue = sb.toString();
        }
        return getColumnValue(columnValue);
    }

    public AbstractMockColumn(Column column, int total, int index) {
        this.column = column;
        this.total = total;
        this.index = index;
    }
}

反射+工厂

优化前

App5.java

    public static String calculateColumnValueByDataConfig(Column column, Map<String, String> dependKeyMap) {
        if (column.getData() instanceof String) {
            // column.getData()是String，则是取该表的其他字段值
            String data = (String) column.getData();
            return dependKeyMap.get(data);
        } else if (column.getData() instanceof JSONArray) {
            // column.getData()是数组，则随机取值
            JSONArray jsonArray = (JSONArray) column.getData();
            Object[] random = jsonArray.stream().toArray();
            return getColumnValue(random[columnRandom.nextInt(random.length)], column);
        } else if (column.getData() instanceof JSONObject) {
            // column.getData()是JSONObject，取开始-结束的随机值
            JSONObject jsonObject = (JSONObject) column.getData();
            String start = jsonObject.getString("start");
            String end = jsonObject.getString("end");
            if (!StrUtil.hasBlank(start, end)) {
                String datePattern;
                if (column.getJdbcType() == JdbcType.DATE) {
                    // 处理日期，取当前日期
                    datePattern = DatePattern.NORM_DATE_PATTERN;
                } else {
                    datePattern = DatePattern.NORM_DATETIME_PATTERN;
                }
                DateTime startTime = DateUtil.parse(start, datePattern);
                DateTime endTime = DateUtil.parse(end, datePattern);
                long between = DateUtil.between(startTime, endTime, DateUnit.DAY);
                DateTime dateTime = startTime.offsetNew(DateField.DAY_OF_YEAR, columnRandom.nextInt(Convert.toInt(between + 1)));
                return getColumnValue(DateUtil.format(dateTime, datePattern), column);
            }
        } else {
            throw new IllegalArgumentException("Invalid column value");
        }
        return null;
    }

优化后

ColumnConfigDataFactory.java

public class ColumnConfigDataFactory {
    static {
        Map<String, AbstractColumnConfigData> map = new HashMap<>(16);
        // 取类包名.分割后的第一个作为待扫描包
        String packageName = ColumnConfigDataFactory.class.getName().split("\\.")[0];
        Set<Class<? extends AbstractColumnConfigData>> classSet = ReflectUtil.scanClassBySuper(packageName, AbstractColumnConfigData.class);
        classSet.forEach(clazz -> {
            AbstractColumnConfigData columnConfigData = null;
            try {
                columnConfigData = clazz.newInstance();
            } catch (Exception e) {
                throw new RuntimeException(e);
            }
            if (ObjectUtil.isNotNull(columnConfigData)) {
                map.put(columnConfigData.getDataClazz(), columnConfigData);
            }
        });
        beanMap = map;
    }

    static Map<String, AbstractColumnConfigData> beanMap;

    public static AbstractColumnConfigData getColumnConfigData(AbstractMockColumn mockColumn) {
        String dataClazz = mockColumn.getColumn().getData().getClass().getName();
        AbstractColumnConfigData columnConfigData = beanMap.get(dataClazz);
        if (ObjectUtil.isNull(columnConfigData)) {
            throw new RuntimeException("未找到对应的列数据配置类");
        }
        columnConfigData.setMockColumn(mockColumn);
        return columnConfigData;
    }
}

AbstractColumnConfigData.java

public abstract class AbstractColumnConfigData {
    /**
     * 获取数据类型的Class全路径。
     * @return 返回数据类型的Class全路径
     */
    abstract public String getDataClazz();

    @Getter
    @Setter
    protected AbstractMockColumn mockColumn;

    /**
     * 获取列的原始值。
     * @return 返回列的原始值的字符串表示形式。
     */
    abstract public String getColumnValueByDataConfig();

    public AbstractColumnConfigData() {
        super();
    }
}
mamba键盘侠
关注
  • 9
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
小程序本地mock服务器,小程序如何mock数据（终结）
weixin_33439618的博客
08-09 1430
一、小程序实现自定义组件从小程序基础库版本 1.6.3 开始，小程序支持简洁的组件化编程第一步：创建一个components文件夹内部创建要复用的组件,例如：Dialog右键新建Dialog目录->右键新建component并生成四个文件第二步：如何在其他页面引入刚才创建的Dialog组件二、在小程序中如何mock数据(一)在小程序中使用mock数据的步骤：第一步：下载文件：mock.js,...
whistle.vase:用于mock数据的whistle插件
05-02
v1.3+ 版本支持通过本地文件加载模板 pattern vase://tpl:AbsoluteLocalFilePath，如：www.test.com/path/to vase://mock:D:\test\demo.json 或 www.test.com/path/to vase://mock:/Users/av/test/demo.json，方便把...
前端 mock 数据及工具介绍
cdq2012的博客
08-07 2142
阅读本文，需要有前端开发的简单知识，接下来我们分别从介绍 Mock 数据概念（what）、为啥要 Mock(why)、如何 mock(how）、mock 工具等方面来展开讲解。
面向开发的测试技术：Mock 及工具介绍
cc297322716的专栏
08-14 4930
面向开发的测试技术：Mock 发表于：2017-8-14 08:22  作者：佚名   来源：51Testing软件测试网采编 字体：大 中 小 | 上一篇 | 下一篇 | 打印 |我要投稿 | 推荐标签： 软件测试技术 Mock 　　 引子：自上世纪末Kent Beck提出TDD(Test-Driven Development)开发理念以来，开发和测试的边界变的越来越模糊，从原
接口拦截及数据模拟方案:Mock.js
ck2580的博客
12-06 3110
Mock.js 什么是Mock.js 在我们开发中，经常能碰见这样的问题：前端开发的进度快于后端接口的开发，这种情况之下，前端通常只能等待后端接口开发完毕或者依据后端提供的接口文档将数据在代码中写死，前者会浪费前端大量人力，而第二种会很麻烦（少量数据还勉强能造出来，但是需要较多的数据测试的话，尤其是造一些非文本类数据会特别麻烦），因此 MockJs 就是为了优化这一流程而出现的。 那 MockJs 到底是干什么的呢？ 官网首页已经说的很清楚明了：生成随机数据，拦截 Ajax 请求。也就是说，它类似于代理工具
Mock服务设计与实现：MySQL驱动字节码修改增强
华为云官方博客
11-16 1487
摘要：华为导流测试平台通过对线上流量回放到被测环境中，利用线上真实流量进行充分测试，保证业务系统稳定上线。但是业务在导流测试过程中现网数据库往往难以同步到测试环境，导致现网数据无法正常回放，测试价值降低。由此提出回放过程中对数据库进行mock，以保证回放过程正常进行。 一、需求分析 1.背景 华为导流测试平台通过对线上流量回放到被测环境中，利用线上真实流量进行充分测试，保证业务系统稳定上线。但是业务在导流测试过程中现网数据库往往难以同步到测试环境，导致现网数据无法正常回放，测试价值降低。由此提出回..
快速MOCK数据并插入数据表中（MySQL）
Flying____fish的博客
11-20 2433
问题描述：在学习使用SQL语句操作数据库的时候，添加十几二十条数据总感觉不够直观，如何快速批量制造相对真实的假数据，以供测试使用？
微信小程序mock数据 使用微信开发者工具中的mock来mock数据
LRQQHM的博客
04-01 4136
例如要mock https://example.com/ajax?dataType=member接口数据 url正则：https:\/\/example.com\/ajax\?dataType=member json数据包 { "statusCode": 200, "header": {}, "data": { "list":[{ "id": 1, "name":"微信开发" }], "code": 0, "codeMsg": ""
微信小程序 —— 会议OA项目首页布局与Mock数据交互
让优秀成为一种习惯！
10-17 4582
本文主要介绍小程序如何布局，Fle布局的讲解，最后搭建OA项目首页的综合案例演示。
Vue进阶（十三）：MOCK
IT全栈 华强工作室
12-16 6881
mock是一个模拟数据生成器，旨在帮助前端独立于后端进行开发，编写单元测试。其可模拟Ajax并返回模拟数据，使前端不用去调用后端的接口，方便测试。
接口：mock 模拟数据以及接口调用遇到的 axios的坑
热门推荐
1363648943的专栏
01-30 2万+
项目用的 react+dva，由于后端接口还没有好，所以需要用mock创数据，拦载 ajax ，返回 mock 里面的数据。那么问题来了，怎么用 mock 呢？看了官方文档，我表示没有看明白。问团儿，这个问题，团儿解答：在你现在的里面写"get/api":[]，get要大写，/api就是你的接口地址，上面要引用mock，importmock from ‘mockjs’。下面还记录了我在 mo...
mock:Mock是用于可重现的RPM软件包的工具
05-13
Fedora Build系统使用Mock填充chroot环境，然后将其用于构建源RPM（SRPM）。 它可以用于chroot环境的长期管理，但是通常会填充chroot（使用DNF），在chroot中构建SRPM以生成二进制RPM，然后将chroot丢弃。 用户文件...
spring-data-mock：用于Spring数据存储库的Mock工具
02-04
Spring数据模拟 这是一个相当灵活的通用框架，用于模拟Spring Data存储库。 Spring Data为将管理数据库及其随后产生的查询与业务层的查询分开来提供了很好的基础。 这对于编写服务非常有用。 他们只需要依靠Spring...
vi-mock:基于yod-mock的数据生成器工具
05-09
基于yod-mock的数据生成器工具。 安装 npm install vi-mock 用法 var vi = require ( 'vi-mock' ) ; 生成一个字符串： vi . string ( ) ; 产生一个数字： vi . number ( ) ; 产生一个布尔值： vi . boolean ( ...
策略规划：在MySQL中实现数据恢复的全面指南
2401_85339615的博客
09-04 1096
数据恢复是数据库管理中至关重要的一环，它确保在发生数据丢失或损坏的情况下，能够迅速且准确地恢复数据。在MySQL中，实现有效的数据恢复策略规划需要综合考虑备份策略、备份类型、存储管理、故障转移机制以及恢复流程。本文将深入探讨如何在MySQL中进行数据恢复的策略规划，包括策略制定、技术实现和最佳实践。
MySQL 大量 IN 的查询优化
最新发布
xchenhao 的博客
09-09 314
MySQL 大量 IN 的查询优化
三.海量数据实时分析-FlinkCDC实现Mysql数据同步到Doris
墨家巨子@俏如来
09-07 1164
通过上面的 route 配置，会将 app_db.orders 表的结构和数据同步到 ods_db.ods_orders 中。这样，就可以将诸如 app_db.order01、app_db.order02、app_db.order03 的表汇总到 ods_db.ods_orders 中。参考：https://nightlies.apache.org/flink/flink-cdc-docs-release-3.0/zh/docs/get-started/quickstart/mysql-to-doris/
【重学 MySQL】十四、显示表结构
CSDN全栈领域优秀博主，阿里云博客专家，工信部权威认证物联网技术开发工程师，曾30分钟高分通过C语言二级，两天手撸代码完成EasyX飞机大战，靠接软件私活一个月换苹果电脑
09-06 659
以上就是在MySQL中显示表结构的几种常用方法。DESCRIBE或DESC命令和命令提 供了快速查看表列信息的简便方式，而查询数据库则提供了更详细、更灵活的信息获取方式。命令则适用于需要查看或复制表完整结构的情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值