mybatis的collection查询问题以及使用原生解决方案的结果

最新推荐文章于 2023-08-16 16:03:40 发布
最新推荐文章于 2023-08-16 16:03:40 发布
阅读量527 收藏 1
点赞数
文章标签： java
原文链接：http://www.cnblogs.com/dgutfly/p/10668141.html
版权

　　之前在springboot+mybatis环境的坑和sql语句简化技巧的第2点提到，数据库的一对多查询可以一次查询多级数据，并且把拿到的数据按id聚合，使父级表和子级表都有数据。

　　但是这种查询，必然要查询大量的重复父数据，如果不用这种方法，而是分级查询，效果会如何？

　　要知道这2种数据的查询效率如何，用Python可以简单查询到总时长。

　　首先用pip install MySQL-python这条指令安装，至于出错解决方法就是https://www.cnblogs.com/superxuezhazha/p/6619036.html这篇文章的事了。

　　上代码：

import MySQLdb
import json
import uuid
import random
import traceback
import time
plan_id = 'assssss'
use_times = 0
def noSubUuid(namespace=None):
    global use_times
    if namespace == None:
        use_times = use_times + 1
        return str(uuid.uuid3(uuid.NAMESPACE_DNS,str(use_times))).replace('-','')
    else:
        return str(uuid.uuid3(uuid.NAMESPACE_DNS,namespace)).replace('-','')
# Add Sample Data.生成示例数据
def addData(cursor, db):
    try:
        start = 18
        user_ids = []
        user_number_id = 490
        for _ in range(600):
            user_id = noSubUuid()
            insertUserSql = 'insert into user VALUES (%d,\'%s\',\'%s\',\'YWRtaW4=\',\'%s\',2,0,1,NULL,NULL,NULL,\'2018-08-21 07:20:13\',NULL,NULL,NULL,\'my_ass_bdpf\',\'MXQ2NWRhNDNXNmM0OWQ1dG9rZW5fc2FsdA==\',\'2bbf024395e84adf80e2e72c6330ea57\')'%(user_number_id,user_id,noSubUuid()[20:],noSubUuid())
            print(insertUserSql)
            cursor.execute(insertUserSql)
            user_ids.append(user_id)
            user_number_id = user_number_id+1
        line_id = 490
        man_num_id = 490
        study_num_id = 590
        limitNum = 450
        for _ in range(400):
            start = 0
            manage_id = noSubUuid()
            insertLineSql = 'insert into experiment_teaching_plan_resource_line values (%d,\'%s\',\'%s\',\'%s\')'%(line_id,noSubUuid(),plan_id,manage_id)
            print(insertLineSql)
            cursor.execute(insertLineSql)
            line_id = line_id + 1
            insertManaSql = 'insert into resource_management values (%d,\'%s\',\'%s\',\'%s\',\'%s\',\'%s\',\'%s\',\'20180109000000\',\'my_ass_bdpf\',4)'%(man_num_id,noSubUuid(),noSubUuid(),noSubUuid(),manage_id,noSubUuid(),noSubUuid())
            print(insertManaSql)
            man_num_id = man_num_id + 1
            cursor.execute(insertManaSql)
            for user_id in user_ids:
                if(start >= limitNum):
                    return
                if(random.randint(0, 2) == 1):
                    insertStudSql = 'insert into course_resource_study values (%d,\'%s\',\'%s\',\'%s\',null,null,null)'%(study_num_id,noSubUuid(),manage_id,noSubUuid())
                    print(insertStudSql)
                    cursor.execute(insertStudSql)
                    study_num_id = study_num_id + 1
                    start = start + 1
            #
        db.commit()
    except Exception as e:
        print(traceback.format_exc())
        db.rollback()
# Rollback Sample Data.如果数据量过大对服务器造成影响，可以回滚示例数据
def rollbackData(cursor, db):
    try:
        cursor.execute('delete from course_resource_study where student_id in (select uid from user where user_col3 = \'my_ass_bdpf\')')
        cursor.execute('delete from user where user_col3 = \'my_ass_bdpf\'')
        cursor.execute('delete from experiment_teaching_plan_resource_line where resource_management_id in (select rm.resource_management_id COLLATE utf8_general_ci from resource_management rm where experimental_time = \'my_ass_bdpf\')')
        cursor.execute('delete from resource_management where experimental_time = \'my_ass_bdpf\'')
        db.commit()
    except Exception as e:
        print(traceback.format_exc())
        db.rollback()
# Query data like mybatis collection query.像Mybatis的collection查询一样查询数据
def SelectAtOnce(cursor, db):
    sql = 'select etp.*,rm.*,crs.* '\
        + 'from experiment_teaching_plan etp '\
        + 'JOIN experiment_teaching_plan_resource_line etpl ON etp.id=etpl.teaching_plan_id '\
        + 'JOIN resource_management rm ON rm.resource_management_id=etpl.resource_management_id COLLATE utf8_general_ci '\
        + 'JOIN course_resource_study crs ON rm.resource_management_id=crs.resource_management_id '\
        + 'where etp.id=\'assssss\''
    cnt = cursor.execute(sql)
# Query data step by step.分级查询数据
def SelectByStep(cursor, db):
    cursor.execute('select * from experiment_teaching_plan where id=\'assssss\'')
    results = cursor.fetchall()
    plan_id = results[0][0]
    cursor.execute('select * from experiment_teaching_plan_resource_line where teaching_plan_id=\'%s\''%(plan_id,))
    ids = ','.join(list(map(lambda a:"'" + a[3] + "'",cursor.fetchall())))
    cursor.execute('select * from resource_management where resource_management_id in (%s)'%ids)
    ids = ','.join(list(map(lambda a:"'" + a[4] + "'",cursor.fetchall())))
    cursor.execute('select * from course_resource_study where resource_management_id in (%s)'%ids)
#
if __name__ == '__main__':
    db = MySQLdb.connect("localhost", "root", "acmicpc", "my_ass_bdpf", charset='utf8')
    cursor = db.cursor()
    addData(cursor, db)
    #rollbackData(cursor, db)
    
    start = time.time()
    SelectAtOnce(cursor, db)
    mid = time.time()
    print(mid - start)
    
    SelectByStep(cursor, db)
    print(time.time() - mid)
    
    cursor.close()
    db.close()
#
插入、回滚、查询一条龙

　　mysql代码：

DROP TABLE IF EXISTS `resource_management`;
CREATE TABLE `resource_management` (
  `id` int(10) NOT NULL AUTO_INCREMENT COMMENT '自增ID',
  `course_structure_id` varchar(255) COLLATE utf8_unicode_ci NOT NULL COMMENT '课程体系ID',
  `course_classification_id` varchar(255) COLLATE utf8_unicode_ci NOT NULL COMMENT '课程分类ID',
  `course_content_id` varchar(32) COLLATE utf8_unicode_ci NOT NULL COMMENT '课程内容ID',
  `resource_management_id` varchar(32) COLLATE utf8_unicode_ci NOT NULL COMMENT '实验主键ID',
  `resource_management_name` varchar(100) COLLATE utf8_unicode_ci NOT NULL COMMENT '实验名称',
  `resource_management_desc` varchar(200) COLLATE utf8_unicode_ci DEFAULT NULL COMMENT '描述',
  `create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `experimental_time` varchar(255) COLLATE utf8_unicode_ci NOT NULL COMMENT '实验时长',
  `resource_order` int(255) NOT NULL COMMENT '文档顺序',
  PRIMARY KEY (`id`),
  UNIQUE KEY `UNIQUE_VIDEONAME` (`resource_management_name`,`course_content_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci COMMENT='实验基本信息表';

#
# Data for table "experiment_teaching_plan"
#

INSERT INTO `experiment_teaching_plan` VALUES ('27421b344b7242a980e139dd3c25f11e','5b3fb1014c62492cb2193686bdf90d45','ass','assss','2019-01-10 16:22:27'),('assssss','27adf7cee44347b4847943c1548887c4','my_test','my_test','2019-04-05 11:23:42'),('ferhh','gfjtjtjtr','在哪?','deswrtyuio','0000-00-00 00:00:00');

DROP TABLE IF EXISTS `experiment_teaching_plan_resource_line`;
CREATE TABLE `experiment_teaching_plan_resource_line` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增ID',
  `resource_line_id` varchar(32) NOT NULL COMMENT '中间表ID',
  `teaching_plan_id` varchar(32) NOT NULL COMMENT '课程教学计划表主键ID',
  `resource_management_id` varchar(32) NOT NULL COMMENT '课程资源表主键ID',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='课程教学计划和资料库关联';

DROP TABLE IF EXISTS `course_resource_study`;
CREATE TABLE `course_resource_study` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `student_id` varchar(32) CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL COMMENT '学生ID',
  `resource_management_id` varchar(32) CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL COMMENT '实验ID',
  `course_content_id` varchar(32) CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL COMMENT '实验内容ID',
  `experiment_summary` longtext COMMENT '实验总结',
  `create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `update_time` timestamp NULL DEFAULT NULL COMMENT '更新时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='学生实验学习关系表';
View Code

　　写好之后把这段mysql代码在mysql服务器上运行，之后用这段python代码查询。

　　结果如下：

 　　可以看到，包含大量重复父级数据的查询（这次数据量有80104条）会严重影响查询效率，如果数据量再大一些，或者查询级数再深一些，可能就会彻底堵死整个http请求，使某个客户端得不到回应。

　　如果考虑到mybatis的collection查询比分级查询快的情况，数据量事实上小得不值一提了（这个例子有80000条数据，稍微有点用的网站储存的数据可能都不止一点）

　　所以Mybatis的这种collection查询功能不是特别推荐（应该说凡是大数据量的系统都不应该用这种查询），分开查代码会麻烦一些，但是后期数据量上来的话性能占优。

　　有时间的话，再测试一下Hibernates这种用缓存的系统会使用哪种机制查询。

转载于:https://www.cnblogs.com/dgutfly/p/10668141.html

weixin_34336526
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SpringBoot+mybatis中＜collection＞子查询不执行
allen
03-31 4330
今天使用mybatis中标签进行子查询时，发现子查询一直没有执行，网上搜了各种方式，都没有方式解决 校验了无数次的调用配置，仍然没有解决 举个例子: 查询一个home下的房间数 <resultMap .............> <result column="_name" property="name" /> . . . <collection property="rooms" select="selectRooms" column="{homeId= homeId}" /
MyBatis使用Collection查询多对多或一对多结果集bug
weixin_34202952的博客
08-16 472
情况描述:当使用JOIN查询,如果SQL查询出来的记录不是按id列排序的,则生成的List结果会有问题 案例: 1) 数据库模型 简而言之一个Goods包含多个Goods_Img   2) Java Bean Goods.java public class Goods { private Integer goodsId; private Strin...
mybatis框架——性能优化
热门推荐
随笔记
08-08 1万+
打个广告，帮朋友卖点东西，东西超便宜的哟【衣服鞋子等】，厂家直接出货，绝对低于市场价！！！一般都比市场价便宜3—7折【都是牌子货】，如果您感兴趣，可以扫描屏幕下方的二维码，感谢关注！！！ 微信 一、延迟加载 延迟加载又叫懒加载，也叫按需加载。也就是说先加载主信息，在需要的时候，再去加载从信息。在mybatis中，resultMap标签 的association标签和c...
解决MyBatis ＜collection＞标签造成分页异常问题
最新发布
weixin_56917022的博客
08-16 1648
原因：出现这个问题的原由是因为联表的时候查询出来的数据，映射成实体类的时候，因为有collection会导致折叠一部分数据，导致实体类的数据少于分页的数据。第一种，不使用集合的嵌套结果映射，使用集合的嵌套select查询解决。使用该方案需要注意性能问题，会导致“N+1查询问题”。缺点，数据量大的时候很卡。配置，在业务逻辑中进行处理。先将参与分页的数据获取出来，再根据需要在业务代码中获取分页数据关联的数据。
Mybatis多表连接查询，一对多模式中数据过滤问题
csdn_NN的博客
08-20 877
MyBatis 一对多加LMIT查询，踩坑实录。
mybatis collection 多条件查询的实现方法
09-09
`BaseVoResultMap`是`BaseResultMap`的扩展，它在`collection`标签中定义了一个名为`userMessageDetailList`的属性，这个属性表示主查询结果集`UserMessage`中的一个列表，列表的元素类型是`UserMessageDetail`。...
mybatis利用association或collection传递多参数子查询
08-26
"MyBatis多参数子查询使用association或collection" MyBatis是一款流行的Java持久层框架，提供了多种方式来实现复杂的数据库查询操作。其中，使用association或collection来传递多参数子查询是一种常用的方法。本文...
Mybatis中Collection集合标签的使用详解
08-19
现在，我们可以使用Mybatis的Collection集合标签来实现一对多关联查询。首先，我们需要在Mybatis的xml配置文件中定义Collection集合标签： ```xml <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" ...
mybatis中查询结果为空时不同返回类型对应返回值问题
08-25
MyBatis 中查询结果为空时不同返回类型对应返回值问题 MyBatis 中查询结果为空时不同返回类型对应返回值问题是 MyBatis 开发中一个常见的问题。当我们使用 MyBatis 进行数据库查询时，查询结果为空时，MyBatis 的...
解决mybatis使用char类型字段查询oracle数据库时结果返回null问题
08-27
"解决mybatis使用char类型字段查询oracle数据库时结果返回null问题" 在使用mybatis框架对Oracle数据库进行查询操作时，如果使用char类型字段作为查询条件，可能会出现结果返回null的问题。这种情况下，需要对char...
mybatis的collection 标签实现省市县三级联动和forEach实现性能比较
qq_38807606的博客
01-15 511
1. SQL：脚本参考如下链接 https://blog.csdn.net/xubenxismile/article/details/107662209 最终效果如下： 或者：（下图是纯SQL实现，性能要比Java代码中forEach 效果好） 性能比较： 关键代码如下： <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.
mybatis批量更新及其效率问题
u012045045的博客
11-10 1012
mybatis批量更新及其效率问题 一：背景 注意： 第一种： 第二种: 二：批量更新的方式总结： 第一种： 第二种： 三：总结： 最近，负责公司一些旧数据的批量整理和清洗工作，在网上寻找了两种mybatis批量更新的方法。现在在这里总结下和说明下遇到的问题。 一：背景 公司旧数据的清洗，比如图片路径的改变，日期格式的改变（日期格式是varchar），因为数据大体上有一定的规律可寻，所以我的解决思路是用mybatis操
Mybatis使用collection导致分页总数过多
诗人不写诗
05-25 4963
前言，一对多关系的查询且要嵌套结果并要分页的实现本身就是个麻烦的事情。 在mybatis中使用collection标签进行自动封装对象时，分页总数查询是比结果多的，因为记录折叠是发生在Java代码，由mybatis实现，所以如果使用了分页插件，分页总数就会比实际多，解决办法是使用子查询，不要连表，或者不使用分页插件，手动查询分页总数。 还有一种办法是使用group_concat()函数聚合结果...
mybatis使用resultMap嵌套collection查不出数据
sumengnan的博客
05-14 2130
现象： 使用mybatis使用resultMap嵌套collection时，明明数据库有数据，就是查不出来 mapper文件内容： 数据库sql查询，确认数据存在： mapper返回的结果集： 最终发现： 之前为了列表接口返回空数组，而不是null。所以由于重写了replies属性 把重写去掉就好了 ...
记录开发中的一次神奇的bug（Mybatis的resultMap中collection结果集映射数量与数据库查询出的数量不一致的情况）
BestRiven的博客
07-04 1434
记录开发中的一次神奇的bug（Mybatis的resultMap中collection结果集映射数量与数据库查询出的数量不一致的情况） 情况是这样的：大A在商店下了个单，选了四种五毛钱的零食，每种都只买了一袋，钱付完了结果订单查询后显示它只买了一种五毛钱的零食，然而数据库中存的是他买了四种。 很明显，在SQL结果到Java的结果集映射过程出了问题，但是有些订单又是正常的，如果映射本身有问题，为啥有...
mybatis ＜collection＞ 分页时数据总数不对
m0_37785949的博客
11-15 1734
pageHelper 只针对第一条查询语句有效 表连接语句查出来的数据在一对多的情况下是多条的，执行limit会截取查询出来的结果，易造成数据的丢失 解决方法：在<collection> 标签里设置select属性，相当于子查询，子查询就不会执行分页limit了 ...
Spring Boot mybatis项目 sql查询实体类接收不到， 自动映射的配置
欢迎来到祖安！
02-02 616
自动映射的配置，增加我这里是若依的分离版项目 开始是注释掉的 放开就好了。这样user_name 字段 userName 接收。mybatis-config.xml 配置文件。application.yml 配置文件。
Mybatis中两种级联方式的性能对比
weixin_41297079的博客
04-16 2120
最近在做一个基于SpringBoot+MybatisPlus博客系统的项目，在管理后台需要列出所有文章，效果是这样的： 注意红色部分，查出文章的信息时，还需要查文章的分类和文章的标签。这很容易想到需要使用Mybatis的级联查询，但是在写mapper文件代码的时候，想到级联其实有两种方式： 基于分层次查询的 基于SQL表连接的 不了解这两种方式的话，可以先看看我的另一篇博客https://b...
mybatis 一对多 一对一 两种不同实现方式及其使用场景
熊猫老大的博客
06-13 1385
mybatis 大家常用的持久性框架，昨天无聊挖挖屎山，发现关联查询和不同的使用场景，遂做点笔记，怕老了自己不顶用就忘了。 1:N (collection)、1:1(association),分别有两种实现方法集合嵌套查询（select）、集合嵌套结果（resultMap）。两种方式分别有它们适用的使用场景。 集合嵌套查询（select）属于每次发出的请求sql 都是两条，一条主表sql，N(主表数据条数)条字表查询sql，主表sql数据拉大的这时候你感觉效率有点让人头疼，...
Mybatis高级结果映射
08-10
结果集映射就是Mybatis为解决这些问题而提供的解决方案。 在Mybatis中，高级结果映射是通过resultMap元素来实现的。在resultMap中，用户可以定义查询结果映射的规则，包括映射的列到Java属性的对应关系，以及对象...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值