hibernate 查询极慢,最后查出是N+1问题

转载 2013年12月04日 10:47:31


两三周之前遇到的一个问题,终于在今天解决,感觉心情舒畅啊!

 

hibernate查询数据库时,不知道什么原因变得非常的慢,但是同样的代码在另外的服务器上却一点问题也不慢。一直以为是内存的原因,因为生产用的服务器的内存不记得是32G还是64G的了,自己的电脑是2G而且还是远程操作,再加上要做其他任务开发,所以一直没有踏实地去解决这个问题。过去的两周里都是在刷页面,打开一个主要页面要等20分钟左右,有时候要多登录不同的用户进行测试则需要等上1个小时,如果测试不通过,又得再等一个小时,这开发效率极慢,所以只好加班加点地把开发任务做完。

近两天,终于做完开发任务,便开始主攻这个hibernate查询缓慢的问题。

关于这个问题,咨询过很多同事,以及IT行业的同学朋友

主要朝下面几个方向去思考解决:

1,SQL调优,建索引

2,代码是否设计合理

3,查看LOG日志文件,hibernate查询语句的输出

4,N+1问题

 

因为半路出家进入程序猿行业,所以前面的1、2未作为第一选择,3也查看了发现有许多的select语句,后确定是N+1问题。

 

 

介绍N+1问题

如果当SQL数据库中select语句数目过多,就会影响数据库的性能,如果需要查询n个Customer对象,那么必须执行n+1次select查询语句,下文就将为您讲解这个n+1次select查询问题。

在Session的缓存中存放的是相互关联的对象图。默认情况下,当Hibernate从数据库中加载Customer对象时,会同时加载所有关联的Order对象。以Customer和Order类为例,假定ORDERS表的CUSTOMER_ID外键允许为null,图1列出了CUSTOMERS表和ORDERS表中的记录。


以下Session的find()方法用于到数据库中检索所有的Customer对象:

List customerLists=session.find("from Customer as c");

运行以上find()方法时,Hibernate将先查询CUSTOMERS表中所有的记录,然后根据每条记录的ID,到ORDERS表中查询有参照关系的记录,Hibernate将依次执行以下select语句:

select * from CUSTOMERS; 
select * from ORDERS where CUSTOMER_ID=1;
select * from ORDERS where CUSTOMER_ID=2;
select * from ORDERS where CUSTOMER_ID=3;
select * from ORDERS where CUSTOMER_ID=4;

 

通过以上5条select语句,Hibernate最后加载了4个Customer对象和5个Order对象,在内存中形成了一幅关联的对象图,参见图2。

 


Hibernate在检索与Customer关联的Order对象时,使用了默认的立即检索策略。这种检索策略存在两大不足:

(1) select语句的数目太多,需要频繁的访问数据库,会影响检索性能。如果需要查询n个Customer对象,那么必须执行n+1次select查询语句。这就是经典的n+1次select查询问题。这种检索策略没有利用SQL的连接查询功能,例如以上5条select语句完全可以通过以下1条select语句来完成:

select * from CUSTOMERS left outer join ORDERS 
on CUSTOMERS.ID=ORDERS.CUSTOMER_ID 

以上select语句使用了SQL的左外连接查询功能,能够在一条select语句中查询出CUSTOMERS表的所有记录,以及匹配的ORDERS表的记录。

(2)在应用逻辑只需要访问Customer对象,而不需要访问Order对象的场合,加载Order对象完全是多余的操作,这些多余的Order对象白白浪费了许多内存空间。
为了解决以上问题,Hibernate提供了其他两种检索策略:延迟检索策略和迫切左外连接检索策略。延迟检索策略能避免多余加载应用程序不需要访问的关联对象,迫切左外连接检索策略则充分利用了SQL的外连接查询功能,能够减少select语句的数目。

 

解决办法

为了解决以上问题,Hibernate提供了两种检索策略:延迟检索策略和迫切左外连接检索策略

1、延迟检索策略能避免多余加载应用程序不需要访问的关联对象,

hibernate3开始已经默认是lazy=true了;lazy=true时不会立刻查询关联对象,只有当需要关联对象(访问其属性)时才会发生查询动作。

2、迫切左外连接检索策略则充分利用了SQL的外连接查询功能,能够减少select语句的数目。

可以在映射文件中定义连接抓取方式。
<set name=”orders” fetch=”join”>

<key column=”customer_id”>

<one-to-many class="com.hibernate.mappings.Order"/>

</set>

或者使用HQL的LEFT OUTER JOIN.

或者在条件查询中使用setFetchMode(FetchMode.JOIN)

Customer ctm = (Customer)session.createCriteria(Customer.class)

                    .setFetchMode(“Order”.JOIN)

                    .add(Restrictions.idEq(customer_id));

 

 

因为关联到的表比较多近20张,一开始胡乱地给所有的set都添加 fetch="join"  查看相关的抓取策略  又修改了相关表的lazy属性,导致出现许多问题,如

org.hibernate.sessionexception: session is closed错误

等等

后静下心,根据hibernate打印出来的select语句,只修改部分数据表的fetch,问题解决,也不报错。

Hibernate查询性能优化技巧

数据库查询性能的提升也是涉及到开发中的各个阶段,在开发中选用正确的查询方法无疑是最基础也最简单的。 SQL语句的优化        使用正确的SQL语句可以在很大程度上提高系统的查询性...
  • he90227
  • he90227
  • 2014年07月23日 13:53
  • 5510

Eclipse使用hibernate进行HQL语句查询时,速度慢的原因之一

Eclipse使用hibernate进行HQL语句查询时,速度慢的原因之一
  • qqq8724
  • qqq8724
  • 2017年07月19日 08:59
  • 517

用hibernate的性能:插入很快,可查询为什么非常慢?????

发表时间: Mar 18, 2004 7:30 PM 回复 这是个很老的贴子了,又被推上前台。hibernate主要是将关系数据库变成面像对像的方式,目的在于开发维护代码的方便性。但在他身上,有些题外...
  • chainli
  • chainli
  • 2004年11月12日 23:12
  • 2185

hibernate性能优化

Hibernate如何提升数据库查询的性能 数据库查询性能的提升也是涉及到开发中的各个阶段,在开发中选用正确的查询方法无疑是最基础也最简单的。 SQL语句的优化   ...
  • u010281223
  • u010281223
  • 2013年05月22日 21:42
  • 3060

用hibernate的性能:插入很快,可查询为什么非常慢

光是测时间是远远不够的,像JVM的CPU占用率,JVM的内存堆栈都需要测量,进行综合评定,我没有什么测试工具,不过我知道那些大公司内部有自己开发的专用测试软件。其实这样的专业性能测试,不要说测试...
  • TXWZ1299
  • TXWZ1299
  • 2010年02月02日 10:46
  • 696

SQL中的n+1次select语句查询问题

如果当SQL数据库中select语句数目过多,就会影响数据库的性能,如果需要查询n个Customer对象,那么必须执行n+1次select查询语句,下文就将为您讲解这个n+1次select查询问题。 ...
  • z69183787
  • z69183787
  • 2015年05月31日 15:15
  • 5381

【系统性能优化】Hibernate调优

基础系统的学生信息维护页面,查询显示学生信息,但每次查询过程都很慢,所以对该部分进行优化.   Hibernate调优是使用SSH框架很常见的问题,一般可以从以下几方面考虑: 一、数据库设计调整...
  • zhuanzhe117
  • zhuanzhe117
  • 2015年07月24日 19:24
  • 3703

Hibernate级联查找

Hibernate级联查找 一 、工作目的: 本例主要演示在SSH架构下实现hibernate的级联查找,通过配置文件将多张有关联的表联系在一起,只需一次检索数据库便可查询多表记录,好处是避免多次单表...
  • pj901104
  • pj901104
  • 2015年05月27日 14:35
  • 6831

Hibernate连接数据库超时设置

com.mysql.jdbc.CommunicationsException: The last packet successfully received from the server was581...
  • zhaoyue007101
  • zhaoyue007101
  • 2014年08月14日 10:32
  • 5854

MySQL查询超时问题的解决

MySQL查询超时问题是什么原因呢?应该如何解决呢? 下面就为您详细介绍MySQL查询超时问题的解决方法,希望可以帮助到您。 mysql>show variables like '%tim...
  • milife2012
  • milife2012
  • 2015年01月23日 01:50
  • 3601
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hibernate 查询极慢,最后查出是N+1问题
举报原因:
原因补充:

(最多只允许输入30个字)