性能优化总结（三）一对多join的级联查询

最新推荐文章于 2024-09-06 08:47:20 发布
最新推荐文章于 2024-09-06 08:47:20 发布
阅读量2.9k 收藏 2
点赞数 1
分类专栏： java 数据库 文章标签： 性能优化 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nokiaisacat/article/details/53843729
版权
本文介绍了在优化一个运行4年的老项目时，面对一对多级联查询导致的性能问题，通过拆分SQL和调整数据处理方式，有效减少了CPU使用率和响应时间。在不改变前端的情况下，通过减少循环和利用HashMap优化数据合并，使得API在性能测试中达到8000r/m的目标，但CPU仍是瓶颈，未来考虑去除TypeHandler进一步优化。
摘要由CSDN通过智能技术生成

最近在对一个已经运行了4年的老项目进行性能优化，这是一个app，我主要还是从后台优化。这个项目后台提供的API并不多，只有十几个，但是性能非常差。有些API连每分钟2000的request都扛不住，虽然后台的并发node已经增加到8个。一看代码就知道为什么了，原来这些API都需要返回很多的数据，而且是级联的数据，就像你要获得一个“军”的数据，“军”下面又有“师”，然后是旅团营连排，这样的树状结构，大概有5层，而且是一对多的关系。原来的代码中是先获得第一层的数据，再循环获得下面的第二层，然后是循环获得第三层，依次类推。这样带来了很多的数据库访问和循环操作。结果就是这个API不仅慢而且非常耗CPU。

一开始看到这样的结构，我是排斥的。。。。一对多如果写SQL来join的话，就会join出很多的数据来，因为毕竟是相乘的关系。之前就有这种SQL把服务整挂的经验，当时的情景是用用户表去join电话表，地址表，eamil表等，一个人可以有多个电话，地址，email。。。所以是一对多的关系，想要一下子全都拿出来，结果在测试环境中测试人员一直往同一个用户下面加地址，电话等，结果就是这个人有几百个地址，几百个电话。。。。最后join出几百万条数据，hibernate搞不定这个数据量。

回到这次的问题，怎么办，这个是比那个更多的join。首先数据量如果不大的话，我把它写成一个sql，用很多的join应该是没有关系的。于是去找了公司的DBE一块商量，DBE说先用这样的方式试一下。于是我开始写SQL，join了七八张表，用MyBatis。开始的自己测试的时候发现还可以，给性能测试一跑就完了，刚开始跑几分

最低0.47元/天 解锁文章
nokiaisacat
关注
专栏目录
join语句怎么优化？
爱分享的淘金达人
01-18 713
在上一篇文章中，我和你介绍了 join 语句的两种算法，分别是 Index Nested-Loop Join(NLJ) 和 Block Nested-Loop Join(BNL)。我们发现在使用 NLJ 算法的时候，其实效果还是不错的，比通过应用层拆分成多个语句然后再拼接查询结果更方便，而且性能也不会差。但是，BNL 算法在大表 join 的时候性能就差多了，比较次数等于两个表参与 join 的行数的乘积，很消耗 CPU 资源。当然了，这两个算法都还有继续优化的空间，我们今天就来聊聊这个话题。
mysql join 一对多_Join 一对多连接
weixin_39853523的博客
01-25 6225
数据库常见的join方式有三种：inner join, left outter join, right outter join(还有一种full join，因不常用，本文不讨论)。这三种连接方式都是将两个以上的表通过on条件语句，拼成一个大表。以下是它们的共同点：1. 关于左右表的概念。左表指的是在SQL语句中排在left join左边的表，右表指的是排在left join右边的表。2. 在拼成的...
数据库常见的join方式有三种
JavaGosling的专栏
06-26 1539
  数据库常见的join方式有三种：inner join, left outter join, right outter join(还有一种full join，因不常用，本文不讨论)。这三种连接方式都是将两个以上的表通过on条件语句，拼成一个大表。以下是它们的共同点：1. 关于左右表的概念。左表指的是在SQL语句中排在left join左边的表，右表指的是排在left join
MySQL · 性能优化 · 提高查询效率的实用指南（上）
最新发布
不惑
09-06 1631
在过去的几年里，MySQL作为一款开源数据库，因其稳定性和性能得到了广泛的应用。始终保持着强劲的增长趋势，越来越多的企业和开发者将其作为首选数据库，甚至有部分企业从Oracle迁移至MySQL。然而，随着使用的普及，MySQL在实际应用中也暴露出了一些常见问题，尤其是当SQL语句不够优化时，可能会导致响应时间慢、CPU使用率高等性能瓶颈问题。
mysql关联数组查询_mark---[mysql多表关联查询的优化方法]
weixin_39753616的博客
01-25 679
对于一个网站来说，数据库的结构至关重要。即要利于存储(入库不阻塞)，又要利于查询(查询不锁表)。网站数据库优化经验是一个积累的过程。下面就对多表关联查询的优化方法，举例说明。现在社区分享类网站很火，就拿方维购物分享网站举例说明吧。也是对二次开发方维购物分享网站的一点总结，高手可以飞过。购物分享的关键表有：分享表、图片表、文件表、评论表、标签表、分类表等。围绕分享的表就么多，哇，那也不少啊。当我们查...
INNER JOIN，LEFT JOIN ，RIGHT JOIN 中一对多，多对一，多对多的情况
单线程的Daniel的博客
01-19 3945
INNER JOIN，LEFT JOIN ，RIGHT JOIN 中一对多，多对一，多对多的情况
java级联查询、分页查询
03-20
级联查询用于获取一个实体的相关实体信息，而分页查询则用于提高查询效率和用户体验，避免一次性加载过多数据导致性能下降。下面将详细探讨这两个概念以及如何在Java中实现它们。 首先，级联查询在Java中通常是通过...
Oracle多表级联更新详解
12-16
因此，在性能敏感的场景下，可能需要考虑其他的优化策略，如使用JOIN语句进行批量更新，或者使用事务控制来减少数据库的锁竞争。 总结来说，Oracle中的多表级联更新是通过游标实现的，它保证了更新的精确性和安全性...
Hibernate一对多 多对一实例
01-16
本实例将深入探讨“一对一”（OneToOne）、“一对多”（OneToMany）以及“多对多”（ManyToMany）这三种关系映射的实现方法。了解这些关系对于构建复杂的业务系统至关重要，因为它们帮助我们更好地理解和管理数据间...
Hibernate性能优化共9页.pdf.zip
11-21
【标题与描述解析】 ...以上就是关于Hibernate性能优化的一些核心知识点，涵盖了缓存、批处理、查询优化、对象状态管理等多个方面。实际应用中，应根据具体业务需求和系统负载进行调整和测试，以找到最佳的优化策略。
一对多用left join 的关系。
weixin_42039637的博客
07-29 9751
首先我们给定三张表p_Project，cb_Contract，cb_HTFKApply，分别代表项目、合同和付款申请。 三张表的关系为：p_Project < cb_Contract < cb_HTFKApply ‘<’代表的是一对多关系。 一、先以一作为左表： select a.p_projectId,a.ProjName, SUM(c.TotalPayAmount) SumTotalPayAmount from p_Project a left join cb...
mysql优化（关联查询优化）
qq_1757537040的博客
03-12 2654
1.准备数据 #分类 CREATE TABLE IF NOT EXISTS `class` ( `id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT, `card` INT(10) UNSIGNED NOT NULL, PRIMARY KEY (`id`) ); #图书 CREATE TABLE IF NOT EXISTS `book` ( `bookid` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT, `card` INT(1
mybatis级联查询
Smile_Miracle的博客
11-22 1637
关联有嵌套查询和嵌套结果两种方式，本文是按照 嵌套结果 这种方式来说明的上一章介绍了多对一的关系，用到了，这是一个复杂类型的关联。我们选择一个示例来回顾下,比如：一个博客有一个用户，关联映射就工作于这种结果之上。首先看下，我们在本文中要用到的表结构字段:博客 blog : id title author_id 作者 author: id username password email
left join 一对多_「数据蒋堂」第 29 期：JOIN 运算剖析
weixin_39754142的博客
12-03 507
【数据蒋堂】第 29 期：JOIN 运算剖析10 月 19 日，蒋步星在「天善智能」直播分享了《JOIN 运算的简化与提速》，视频地址：https://edu.hellobi.com/course/197/lessons (章节 2)。接下来几期《数据蒋堂》将针对该问题进行详细的文字解读，帮助大家理解。JOIN 是 SQL 中用于多表关联的运算，无论从程序员编写还是数据库实现角度来看，JOIN 都...
Mybatis复习与总结（三）——级联查询
qq_43824084的博客
04-26 472
1.一对一 <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"> <mapper namespace="com.ywj....
【MySQL】解决在join表时一对多的情况下重复数据的问题
亦翼的博客
02-22 1986
在MySQL中进行JOIN操作，特别是在处理一对多关系的表时，可能会出现重复的记录，这是因为左表（或右表）中的每一项在与右表（或左表）连接时，如果对应有多条匹配记录，则会生成多次组合。，这里直接除掉去重后的a表数，最后得到的结果就是准确的，也不需要再额外使用子查询或是其他聚合操作。最后说明一下，以上例子是在SQL本身已经非常复杂并且无法再进行。的情况下针对单列数据聚合使用的，一般的业务场景直接使用。如果有更好的实现方式欢迎各位在评论区交流。一般的业务场景，使用。不难看出，关键点在于。
如何在一对多的关系中把两表Join成一行
06-30 2457
如果你有一个一对多的关系，您想对两个表执行Join，但你只想要将每一个“一对多”关系中产生一行，你可以参考下面: 一个很容易理解的例子，比如博客园的随笔(Post)和评论(comment）两个表，如下图： 如果你想获取随笔的ID, Title 和 一个评论的ID, 内容的话，有以下两个方案: 方案一： 方案二： 第一个方案在有很少随笔，但是每个
一对多的情况 left join 使用
Stephen
12-10 5426
先用distinct 去重让连接表和主表形成一对一的数据关系。 select a.a1,a.a2,a.a3,b.b1,b,b2 from tableAa left join (select distinct b1,b2 from tableB) b on b.b1= a.a2
Hibernate一对多映射配置完全指南
"Hibernate一对多映射配置详解" ...合理设计关系和使用JOIN查询可以优化性能。 理解并正确配置Hibernate的一对多映射是提高开发效率和保证数据一致性的关键，开发者需要根据实际业务场景选择适合的映射方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值