转自:https://blog.csdn.net/abcd1101/article/details/64133126
Hibernate批量处理海量其实从性能上考虑,它是很不可取的,浪费了很大的内存。从它的机制上讲,Hibernate它是先把符合条件的数据查出来,放到内存当中,然后再进行操作。实际使用下来性能非常不理想.
spring jdbctemplate和hibernate在处理简单查询操作时,效率基本相同,甚至hibernate的效率要略高一些。但是在执行批量操作,繁琐操作时,hibernate的效率能达到spring jdbctemplate的80%就不错了。但hibernate可以极大提高开发效率,像分页等较复杂的开发都是可以直接完成的,所以弥补了效率的不足。
总结一下:追求执行效率则spring jdbc;追求开发效率则hibernate;
如果SQL语句存在较多批量操作,建议spring jdbc。
如果真的要用hibernate,那要合理使用,例如:
http://blog.csdn.net/abcd1101/article/details/64189755
1.Hibernate与Jpa的关系
JPA的总体思想和现有hibernate、TopLink,JDO等ORM框架大体一致.JPA是需要Provider来实现其功能的,Hibernate就是JPA Provider中很强的一个.
Jpa是一种规范,而Hibernate是它的一种实现。除了Hibernate,还有EclipseLink(曾经的toplink),OpenJPA等可供选择,所以使用Jpa的一个好处是,可以更换实现而不必改动太多代码。
我想抛开jpa,直接使用hibernate的注解来定义Model,很快发现了几个问题:
- jpa中有Entity, Table,hibernate中也有,但是内容不同
- jpa中有Column,OneToMany等,Hibernate中没有,也没有替代品
我原以为hibernate对jpa的支持,是另提供了一套专用于jpa的注解,但现在看起来似乎不是。一些重要的注解如Column, OneToMany等,hibernate没有提供,这说明jpa的注解已经是hibernate的核心,hibernate只提供了一些补充,而不是两套注解。要是这样,hibernate对jpa的支持还真够足量,我们要使用hibernate注解就必定要使用jpa。
2.为什么选择jdbcTemplate
原因1:
本人在开发的过程中接触到的持久层包括 hibernate 、mybatis .. 两种持久层框架都感觉不尽如人意。首先说说hibernate,hibernate对数据库操作进行了重量级封装,使得对数据库的操作完全是面向对象的操作,其中的面向对象操作成为很多开发人员的福音。但是hql就不那么好了,hql虽然是sql的简化版本,但是hql毕竟是在sql上面套了一层,如果有一天你的程序在那一块操作变的异常的缓慢,那么对hql优化将会变得比较间艰难,而且hibernate底层大量使用了反射机制,虽然其反射大多数情况都是在程序初始化时执行的,但是在程序运行过程中反射机制也是存在的。而mybatis是持久层的轻量级封装,在mybatis中如果需要进行某一个操作,首先需要定义mapper,然后再定义mapper.xml。在mapper.xml中需要完成model映射,需要写上接口相关的sql,这个过程作者认为重复性的工作比较大。如果能够在Java类中直接书写sql,同时还能够进行简单的对象操作,那么程序将既拥有hibernate的部分有点,又将拥有mybatis的部分有点。在今后的开发中,我将会使用spring jdbcTemplate进行开发。
jdbcTemplate 的缺点
jdbcTemplate开发时不需要定义那么多的xml,不会有hql语句优化艰难的缺点,但是其存在一个致命性的问题,就是太过基础,基础的就像在使用jdbc进行操作。这严重影响了开发的效率。不过也正因为其基础性非常好,才使得其优化具有可行性。
原因2:
1. tx = session.beginTransaction();
2. Iterator customers=session.find("from Customer c where c.age>0").iterator();
3. while(customers.hasNext()){
4. Customer customer=(Customer)customers.next();
5. customer.setAge(customer.getAge()+1);
6. }
7. tx.commit();
8. session.close();
如果CUSTOMERS表中有1万条年龄大于零的记录,那么Session的find()方法会一下子加载1万个Customer对象到内存。当执行tx.commit()方法时,会清理缓存,Hibernate执行1万条更新CUSTOMERS表的update语句:
1. update CUSTOMERS set AGE=? …. where ID=i;
2. update CUSTOMERS set AGE=? …. where ID=j;
3. update CUSTOMERS set AGE=? …. where ID=k;
以上Hibernate批量更新方式有两个缺点:
(1) 占用大量内存,必须把1万个Customer对象先加载到内存,然后一一更新它们。
(2) 执行的update语句的数目太多,每个update语句只能更新一个Customer对象,必须通过1万条update语句才能更新一万个Customer对象,频繁的访问数据库,会大大降低应用的性能。
为了迅速释放1万个Customer对象占用的内存,可以在更新每个Customer对象后,就调用Session的evict()方法立即释放它的内存:
1. tx = session.beginTransaction();
2. Iterator customers=session.find("from Customer c where c.age>0").iterator();
3. while(customers.hasNext()){
4. Customer customer=(Customer)customers.next();
5. customer.setAge(customer.getAge()+1);
6. session.flush();
7. session.evict(customer);
8. }
9. tx.commit();
10. session.close();
在 以上程序中,修改了一个Customer对象的age属性后,就立即调用Session的flush()方法和evict()方法,flush()方法使 Hibernate立刻根据这个Customer对象的状态变化同步更新数据库,从而立即执行相关的update语句;evict()方法用于把这个 Customer对象从缓存中清除出去,从而及时释放它占用的内存。
但evict()方法只能稍微提高批量操作的性能,因为不管有没有使用evict()方法,Hibernate都必须执行1万条update语句,才能更新1万个Customer对象,这是影响批量操作性能的重要因素。假如Hibernate能直接执行如下SQL语句:
1. update CUSTOMERS set AGEAGE=AGE+1 where AGE>0;
那么以上一条update语句就能更新CUSTOMERS表中的1万条记录。但是Hibernate并没有直接提供执行这种update语句的接口。应用程序必须绕过Hibernate API,直接通过JDBC API来执行该SQL语句:
1. tx = session.beginTransaction();
2. Connection con=session.connection();
3. PreparedStatement stmt=con.prepareStatement("update CUSTOMERS set AGEAGE=AGE+1 "
4. +"where AGE>0 ");
5. stmt.executeUpdate();
6. tx.commit();
以 上程序演示了绕过Hibernate API,直接通过JDBC API访问数据库的过程。应用程序通过Session的connection()方法获得该Session使用的数据库连接,然后通过它创建 PreparedStatement对象并执行SQL语句。值得注意的是,应用程序仍然通过Hibernate的Transaction接口来声明事务边 界。
如果底层数据库(如Oracle)支持存储过程,也可以通过存储过程来执行Hibernate批量更新。存储过程直接在数据库中运行,速度更加快。在Oracle数据库中可以定义一个名为batchUpdateCustomer()的存储过程,代码如下:
1. create or replace procedure batchUpdateCustomer(p_age in number) as
2. begin
3. update CUSTOMERS set AGEAGE=AGE+1 where AGE>p_age;
4. end;
以上存储过程有一个参数p_age,代表客户的年龄,应用程序可按照以下方式调用存储过程:
1. tx = session.beginTransaction();
2. Connection con=session.connection();
3. String procedure = "{call batchUpdateCustomer(?) }";
4. CallableStatement cstmt = con.prepareCall(procedure);
5. cstmt.setInt(1,0); //把年龄参数设为0
6. cstmt.executeUpdate();
7. tx.commit();
从上面程序看出,应用程序也必须绕过Hibernate API,直接通过JDBC API来调用存储过程。
Session的各种重载形式的update()方法都一次只能更新一个对象,而delete()方法的有些重载形式允许以HQL语句作为参数,例如:
1. session.delete("from Customer c where c.age>0");
如果CUSTOMERS表中有1万条年龄大于零的记录,那么以上代码能删除一万条记录。但是Session的delete()方法并没有执行以下delete语句
1. delete from CUSTOMERS where AGE>0;
Session的delete()方法先通过以下select语句把1万个Customer对象加载到内存中:
1. select * from CUSTOMERS where AGE>0;
接下来执行一万条delete语句,逐个删除Customer对象:
1. delete from CUSTOMERS where ID=i;
2. delete from CUSTOMERS where ID=j;
3. delete from CUSTOMERS where ID=k;
由 此可见,直接通过Hibernate API进行Hibernate批量更新和Hibernate批量删除都不值得推荐。而直接通过JDBC API执行相关的SQL语句或调用相关的存储过程,是Hibernate批量更新和Hibernate批量删除的最佳方式,这两种方式都有以下优点:
(1) 无需把数据库中的大批量数据先加载到内存中,然后逐个更新或修改它们,因此不会消耗大量内存。
(2) 能在一条SQL语句中更新或删除大批量的数据。