MariaDB数据库中测试数据的生成

最新推荐文章于 2024-12-06 16:20:00 发布
最新推荐文章于 2024-12-06 16:20:00 发布
阅读量558 收藏
点赞数
分类专栏： Database 文章标签： 数据库 mariadb database
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010398771/article/details/121095847
版权

现在的项目需求是测试MariaDB的单表的复杂SQL的查询性能, 所以建表, 测试性能:

新建一个springboot项目, 添加依赖:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>2.4.12</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>
	<groupId>com.talkdesk</groupId>
	<artifactId>mariadb-generate-date</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>mariadb-generate-date</name>
	<description>mariadb-generate-date</description>
	<properties>
		<java.version>11</java.version>
	</properties>
	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>
		<!--<dependency>
			<groupId>org.mybatis.spring.boot</groupId>
			<artifactId>mybatis-spring-boot-starter</artifactId>
			<version>2.1.4</version>
		</dependency>-->
		<dependency>
			<groupId>com.baomidou</groupId>
			<artifactId>mybatis-plus-boot-starter</artifactId>
			<version>3.4.3.4</version>
		</dependency>

		<dependency>
			<groupId>org.mariadb.jdbc</groupId>
			<artifactId>mariadb-java-client</artifactId>
			<scope>runtime</scope>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-aop</artifactId>
		</dependency>
		<dependency>
			<groupId>org.projectlombok</groupId>
			<artifactId>lombok</artifactId>
			<optional>true</optional>
		</dependency>
		<dependency>
			<groupId>com.apifan.common</groupId>
			<artifactId>common-random</artifactId>
			<version>1.0.9</version>
		</dependency>
		<dependency>
			<groupId>com.github.jsonzou</groupId>
			<artifactId>jmockdata</artifactId>
			<version>4.3.0</version>
		</dependency>
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
			</plugin>
		</plugins>
	</build>

</project>

2.添加CaseEvents的实体类:

package com.talkdesk.entity;

import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableName;
import lombok.Builder;
import lombok.Data;

import java.io.Serializable;
import java.time.LocalDateTime;

/**
 * @description case_events
 * @author zhengkai.blog.csdn.net
 * @date 2021-10-25
 */
@Builder
@Data
@TableName("case_events")
public class CaseEvents implements Serializable {

    private static final long serialVersionUID = 1L;

    @TableId
    /**
    * id
    */
    private String id;

    /**
    * event_type
    */
    private String eventType;

    /**
    * case_id
    */
    private String caseId;

    /**
    * category
    */
    private String category;

    /**
    * sub_category
    */
    private String subCategory;

    /**
    * form_id
    */
    private String formId;

    /**
    * old_form_id
    */
    private String oldFormId;

    /**
    * owner_id
    */
    private String ownerId;

    /**
    * old_owner_id
    */
    private String oldOwnerId;

    /**
    * owner_name
    */
    private String ownerName;

    /**
    * old_owner_name
    */
    private String oldOwnerName;

    /**
    * channel_source
    */
    private String channelSource;

    /**
    * tenant_id
    */
    private String tenantId;

    /**
    * brand_id
    */
    private String brandId;

    /**
    * group_id
    */
    private String groupId;

    /**
    * old_group_id
    */
    private String oldGroupId;

    /**
    * group_name
    */
    private String groupName;

    /**
    * old_group_name
    */
    private String oldGroupName;

    /**
    * status
    */
    private String status;

    /**
    * old_status
    */
    private String oldStatus;

    /**
    * priority
    */
    private String priority;

    /**
    * old_priority
    */
    private String oldPriority;

    /**
    * requester_id
    */
    private String requesterId;

    /**
    * requester_name
    */
    private String requesterName;

    /**
    * submitter_id
    */
    private String submitterId;

    /**
    * submitter_name
    */
    private String submitterName;

    /**
    * create_at
    */
    private LocalDateTime createAt;

    /**
    * occurred_at
    */
    private LocalDateTime occurredAt;

    /**
    * mask
    */
    private String mask;

    /**
    * solve_reason
    */
    private String solveReason;

    /**
    * close_reason
    */
    private String closeReason;

    /**
    * assign_reason
    */
    private String assignReason;

    /**
    * satisfaction
    */
    private String satisfaction;


}

3.创建生成数据的service:

package com.talkdesk.service;

import com.apifan.common.random.source.DateTimeSource;
import com.apifan.common.random.source.NumberSource;
import com.talkdesk.config.Constant;
import com.talkdesk.entity.CaseEvents;
import com.talkdesk.mapper.CaseEventsMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.ArrayList;
import java.util.List;
import java.util.UUID;

/**
 * @author ke.zhang
 * @version 1.0
 * @description: TODO
 * @date 2021/10/25 10:06
 */
@Service
public class EventService {

    @Autowired
    private CaseEventsMapper caseEventsMapper;

    public void generateEventData(int num) {
        if (num < 1) {
            return;
        }
        Constant.tenantIds().parallelStream().forEach(e -> oneTenantSaveData(num, e));
    }

    private void oneTenantSaveData(int num, String tenantId) {
        List<CaseEvents> events = new ArrayList<>();
        for (int i = 0; i < num; i++) {
            CaseEvents caseEvents = getEventObject(tenantId);
            events.add(caseEvents);
            if (events.size() > Constant.NUM) {
                caseEventsMapper.insertBatch(events);
                events.clear();
            }
        }
        if (events.size() > 0) {
            caseEventsMapper.insertBatch(events);
        }
    }


    private CaseEvents getEventObject(String tenantId) {
        String id1 = UUID.randomUUID().toString().replace("-", "");
        String id2 = UUID.randomUUID().toString().replace("-", "");
        CaseEvents build = CaseEvents.builder()
                .id(id1)
                .caseId(id1.substring(0, 19))
                .eventType("case_created")
                .category("00" + NumberSource.getInstance().randomInt(1, 4))
                .subCategory("00" + NumberSource.getInstance().randomInt(1, 4))
                .formId(id1.substring(0, 19))
                .oldFormId(id1.substring(0, 19))
                .ownerId(id2)
                .oldOwnerId(id2)
                .ownerName("")
                .oldOwnerName("")
                .channelSource("00" + NumberSource.getInstance().randomInt(1, 3))
                .tenantId(tenantId)
                .brandId("0")
                .groupId("management-2")
                .oldGroupId("management-2")
                .groupName("management-2")
                .oldGroupName("management-2")
                .status("00" + NumberSource.getInstance().randomInt(1, 7))
                .oldStatus("00" + NumberSource.getInstance().randomInt(1, 7))
                .priority("00" + NumberSource.getInstance().randomInt(1, 5))
                .oldPriority("00" + NumberSource.getInstance().randomInt(1, 5))
                .requesterId("001")
                .requesterName("001")
                .submitterId("002")
                .submitterName("002")
                .createAt(DateTimeSource.getInstance().randomPastTime(30))
                .occurredAt(DateTimeSource.getInstance().randomPastTime(30))
                .mask("001")
                .solveReason("001")
                .closeReason("001")
                .assignReason("001")
                .satisfaction("001")
                .build();
        return build;
    }


}

4.创建Mapper

package com.talkdesk.mapper;

import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.talkdesk.entity.CaseEvents;
import org.apache.ibatis.annotations.Param;
import org.springframework.stereotype.Repository;

import java.util.List;

@Repository
public interface CaseEventsMapper extends BaseMapper<CaseEvents> {


    void insertBatch(@Param("events") List<CaseEvents> events);
}
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.talkdesk.mapper.CaseEventsMapper">

    <insert id="insertBatch">
    INSERT INTO case_events values
        <foreach collection="events" item="event" separator=",">
            (#{event.id},#{event.eventType},#{event.caseId},#{event.category},#{event.subCategory},#{event.formId},#{event.oldFormId},#{event.ownerId},#{event.oldOwnerId},
            #{event.ownerName},#{event.oldOwnerName},#{event.channelSource},#{event.tenantId},#{event.brandId},#{event.groupId},#{event.oldGroupId},#{event.groupName},#{event.oldGroupName},
            #{event.status},#{event.oldStatus},#{event.priority},#{event.oldPriority},#{event.requesterId},#{event.requesterName},#{event.submitterId},#{event.submitterName},#{event.createAt},
            #{event.occurredAt},#{event.mask},#{event.solveReason},#{event.closeReason},#{event.assignReason},#{event.satisfaction})
        </foreach>
    </insert>


</mapper>

5.设置常量:

package com.talkdesk.config;

import java.util.ArrayList;
import java.util.List;

/**
 * @author ke.zhang
 * @version 1.0
 * @description: TODO
 * @date 2021/10/27 16:22
 */
public class Constant {

    private static List<String> tenantIds = new ArrayList<>();


    public static final int NUM = 1500;

    public static List<String> tenantIds() {
        if (tenantIds.size() < 1) {
            for (int i = 0; i < 100; i++) {
                tenantIds.add("60f797a5b1a6b0e450dbe" + i);
            }
        }
        return tenantIds;
    }

}

写一个切面, 记录方法的执行时间

package com.talkdesk.config;

import lombok.extern.slf4j.Slf4j;
import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang.annotation.Around;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Pointcut;
import org.springframework.stereotype.Component;

/**
 * @author ke.zhang
 * @version 1.0
 * @date 2021/10/25 16:44
 */
@Slf4j
@Aspect
@Component
public class ExecuteTimeAspect {


    /**
     * Pointcut 切入点
     * 匹配cn.controller包下面的所有方法
     */
    @Pointcut("execution(public * com.talkdesk.service.*.*(..))")
    public void execute() {
    }

    /**
     * 环绕通知
     */
    @Around(value = "execute()")
    public Object arround(ProceedingJoinPoint point) {
        long l1 = System.currentTimeMillis();
        Object o = null;
        try {
            o = point.proceed();
        } catch (Throwable e) {
            e.printStackTrace();
        }
        long l2 = System.currentTimeMillis();
        log.info("执行{}方法,所用的时间是:{}秒", point.getSignature().toString(), (l2 - l1) / 1000);
        return o;
    }

}

6.配置数据库信息:

spring:
  datasource:
    driver-class-name: org.mariadb.jdbc.Driver
    url: jdbc:mariadb://localhost:3306/test
    username: root
    password: 123456
mybatis-plus:
  mapper-locations: classpath:mapper/*.xml

和项目启动方法:

package com.talkdesk;

import org.mybatis.spring.annotation.MapperScan;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
@MapperScan("com.talkdesk.mapper")
public class MariadbGenerateDateApplication {

	public static void main(String[] args) {
		SpringApplication.run(MariadbGenerateDateApplication.class, args);
	}

}

7.写一个单元测试方法

package com.talkdesk.service;

import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

/**
 * @author ke.zhang
 * @version 1.0
 * @description:
 * @date 2021/10/25 13:44
 */
@SpringBootTest
class EventServiceTest {

    @Autowired
    EventService eventService;

    @Test
    void generateEventData() {
        eventService.generateEventData(50000);
    }
    
}

第十六章 使用MariaDB数据库管理系统
龙狼刺的博客
05-17 1223
数据库是指按照某些特定结构来存储数据资料的数据仓库。在当今这个大数据技术迅速崛起的年代，互联网上每天都会生成海量的数据信息，数据库技术也从最初只能存储简单的表格数据的单一集中存储模式，发展到了现如今存储海量数据的大型分布式模式。在信息化社会中，能够充分有效地管理和利用各种数据，挖掘其中的价值，是进行科学研究与决策管理的重要前提。同时，数据库技术也是管理信息系统、办公自动化系统、决策支持系统等各类信息系统的核心组成部分，是进行科学研究和决策管理的重要技术手段。
CentOS7通过yum安装Mariadb数据库
u012200494的博客
07-13 1009
CentOS7通过yum安装Mariadb数据库
mariadb 测试
12-15
MariaDB，初级测试，与mysql性能对比。
RHEL7 MariaDB测试
weixin_34023863的博客
09-19 156
MariaDB安装及启动： yum groupinstall mariadb 启动mariadb systemctl restart mariadb systemctl enable mariadb netstat -anplut | grep mysql #mysql端口3306 firewall-cmd --permanent --add-service=mysql firewall-...
模拟测试数据的生成方法
ertyee42的博客
11-16 5159
【摘要】 1）、应用系统或软件产品一般都需要进行不同阶段的验证工作，包括原型功能论证、功能测试、性能测试等，这些测试、论证场景都可能涉及到测试数据的准备。 2）、根据用户的业务需求、数据预置约束条件、数据间层级关联等条件，生成对应的模拟验证数据。一般来说，按照用户要求模拟数据应该做到：数据量可控、充分的随机性、保持数据间特定的逻辑关联关系（包括直接关联或隐含关联）。 3）、本文我们将介绍一个方便、...
基于MariaDB4j实现持久层单元测试
每天学习一点点，每天记录一点点
04-16 3763
分析了为什么要使用MariaDB4j代替H2实现数据持久层的单元测试。如何在项目中使用MariaDB4j。使用MariaDB4j会遇到哪些问题及相应的解决方案。
mariadb mysql 压测_MariaDB10和MySQL5.6社区版压力测试
weixin_33982355的博客
01-19 241
补上作业，MariaDB10和MySQL5.6社区版压力测试，见下图：sysbench(10.8.8.43)MySQL5.6和MariaDB10.0.11(10.8.8.100)压力测试参数：sysbench--test=oltp--mysql-table-engine=innodb--oltp-table-size=10000000--max-requests=0--max-time=...
第十七章 使用 MariaDB 数据库管理系统
最新发布
u012616827的博客
12-06 1466
开源软件是全球黑客、极客、程序员等技术高手在开源社区的大旗下的公共智慧的结晶，自己的劳动成果被其他公司商业化自然也伤了一大批开源工作者的心，因此 MySQL 项目的创始人重新研发了一款名为 MariaDB 的全新数据库管理系统。为了保障数据库系统的安全性，以及让其他用户协同管理数据库，可以在 MariaDB 数据库管理系统中为他们创建多个专用的数据库管理用户，然后再分配合理的权限，以满足他们的工作需求。比如我们刚刚创建的用于保存图书信息的 mybook 表单，随着时间的推移，里面的图书信息也会越来越多。
MySQL与MariaDB升级测试：示例数据库数据的生成与验证
mysql-sample-db是一个为MySQL和MariaDB数据库提供的示例项目，它包括了一个预配置的数据库结构和数据集，这些数据可用于进行升级测试。这个示例数据库使得开发者、测试者或运维人员能够在一个真实的环境中模拟升级...
Android手机秒变高效生产力工具，轻松运行MariaDB数据库
等风来
11-25 2388
Android作为移动设备，尽管最初并非设计为服务器，但是随着技术的进步我们可以将Android配置为生产力工具，变成一个随身Linux。MariaDB是MySQL关系数据库管理系统的一个复刻，由社区开发，有商业支持，旨在继续保持在 GNU GPL 下开源。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。
模拟数据生成器 Data-Processer
04-24
它是一个模拟数据生成器。我们在测试过程中，产生完整、全面的真实数据可能比较困难。我们可以根据需求，创建对应的模版和词典，利用数据模拟生成器生成我们需要的模拟数据。
一款了不起的数据生成器
01-14
包含XOR加密解密。UTF编码 解码、版本编码解码、质数生成、机器标识获取。MD5加密
mariadb与mysql的各种安装--待test
vanilla_he的博客
04-16 375
yum安装mariadb server 5.5 1.安装：#yum list | grep mariadb #yum install -y mariadb-server 查看上文提到的软件信息 2.启动服务：systemctl start mariadb 3. 登陆：初始 无密码#mysql 回车 退出数据库： exit ctrl+d \q 4. 设密码：...
MariaDB 基础使用实验一 ——马哥教育
李凯的博客
11-21 413
1.2.1 SQL基本概念 学习了数据库服务 MariaDB 的安装和基本配置，实现操作数据库。使用xshell客户端程序 mysql 连接了已经安装好的 MariaDB 服务。要想在数据库软件中存储和查找数据我们需要使 用 SQL (结构化查询语言) 来操作数据库，一般我们根据功能把 SQL 分为以下四类： 名称 作用 语法关键字 DQL 数据查询语言 selecte DDL 数据定义语言 c...
mysql批量生成测试数据
txun123的博客
04-23 1473
mysql通过存储过程可以生成海量数据： 代码如下： -- 创建测试表 DROP TABLE t1; CREATE TABLE t1( id INT unsigned NOT NULL AUTO_INCREMENT, name VARCHAR(20) NOT NULL, status TINYINT unsigned NOT NULL DEFAULT 1, PRIMARY KEY(id) ); -- 添加数据 DROP PROCEDURE insert_t1; DELIMITER /
Mariadb测试
weixin_33851604的博客
02-28 378
INSERT : ten million innodb time used: 1682.163s aria time used: 3969.092s DELETE：ten million innodb time used: 1860.013s aria time used: 3756.449s SELECT: ten million innodb time used:...
Linux安装配置MariaDB数据库
y519063548的博客
07-17 1752
1 测试外网是否连通 2 在线安装MariaDB数据库 命令：yum install mariadb-server 安装mariadb数据库 yum clean all 清空已安装文件 如果下载失败之后执行的 2.1执行安装命令 2.2 确认下载 2.3 安装完成 3 数据库启动 命令： 1. 启动命令 [root@localhost src]# systemctl start mariadb 2. 重启
测试数据生成工具datafaker
热门推荐
叫我小名
03-30 1万+
开源情况 datafaker是笔者开发的一个大批量测试数据和流测试数据生成工具，兼容python2.7和python3.4+，欢迎下载使用。github地址为： https://github.com/gangly/datafaker 文档同步更新在github 工具产生背景 在软件开发测试过程，经常需要测试数据。这些场景包括： 后端开发 新建表后，需要构造数据库测试数据，生成接口数据提供给前端使...
使用MariaDB数据库管理系统
LzzLoveStudy的博客
09-08 502
学习总结所用《 Linux就该这么学 》 数据库管理系统 MariaDB数据库管理系统由MySQL项目创始者重新研发 MariaDB由开源社区进行维护，不受商业专利限制 MariaDB和MySQL在性能上基本保持一致，两者的操作命令也十分相似 相较于MySQL，MariaDB数据库管理系统有了很多新鲜的扩展特性，例如对微秒级别的支持、线程池、子查询优化、进程报告等 初始化MariaDB服务 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值