hibernate 批量操作 hibernate.jdbc.batch_size hibernate.jdbc.fetch_size

优化hibernate性能的几点建议

1、针对oracle数据库而言，Fetch Size 是设定JDBC的Statement读取数据的时候每次从数据库中取出的记录条数，一般设置为30、50、100。Oracle数据库的JDBC驱动默认的Fetch Size=15，设置Fetch Size设置为：30、50，性能会有明显提升，如果继续增大，超出100，性能提升不明显，反而会消耗内存。

　　即在hibernate配制文件中进行配制：

1 ＜property name="hibernateProperties"＞ 2 ＜props＞ 3 ＜prop key="hibernate.dialect"＞org.hibernate.dialect.Oracle9Dialect＜/prop＞ 4 ＜prop key="hibernate.show_sql"＞false＜/prop＞ 5 ＜!-- Create/update the database tables automatically when the JVM starts up 6 ＜prop key="hibernate.hbm2ddl.auto"＞update＜/prop＞ --＞ 7 ＜!-- Turn batching off for better error messages under PostgreSQL 8 ＜prop key="hibernate.jdbc.fetch_size"＞100＜/prop＞ --＞ 9 ＜prop key="hibernate.jdbc.batch_size"＞50＜/prop＞ 10 ＜/props＞ 11 ＜/property＞Fetch Size设的越大，读数据库的次数越少，速度越快；Fetch Size越小，读数据库的次数越多，速度越慢。

　　 hibernate.jdbc.fetch_size 意义解释：

   非零值，指定JDBC抓取数量的大小 (调用Statement.setFetchSize()).

1. /**   
2.  * Gives the JDBC driver a hint as to the number of rows that should   
3.  * be fetched from the database when more rows are needed.  The number   
4.  * of rows specified affects only result sets created using this   
5.  * statement. If the value specified is zero, then the hint is ignored.   
6.  * The default value is zero.   
7.  *   
8.  * @param rows the number of rows to fetch   
9.  * @exception SQLException if a database access error occurs, or the   
10.  *        condition 0 <= <code>rows</code> <= <code>this.getMaxRows()</code>   
11.  *        is not satisfied.   
12.  * @since 1.2   
13.  * @see #getFetchSize   
14.  */  

      hibernate.jdbc.batch_size：

    非零值，允许Hibernate使用JDBC2的批量更新. 取值 建议取5到30之间的值。设定一次最多可以提交多少sql语句的上限,提高sql语句的执行效率 。

数据批量操作时可以通过配置
<session-factory>
    ...
    <property name="hibernate.jdbc.batch_size">50</property>
    ...
</session.factory>
来指定当我们发起SQL调用的时候累计到50个SQL之后批量提交。
同一个SessionFactory创建出来的一个session，一个进行批量操作，执行了100次SQL语句，对数据库进行了两次操作。

 

      2、如果是超大的系统，建议生成htm文件。加快页面提升速度。

　　3、不要把所有的责任推在hibernate上，对代码进行重构，减少对数据库的操作，尽量避免在数据库查询时使用in操作，以及避免递归查询操作，代码质量、系统设计的合理性决定系统性能的高低。

　　4、 对大数据量查询时，慎用list()或者iterator()返回查询结果，

　　（1）. 使用List()返回结果时，Hibernate会所有查询结果初始化为持久化对象，结果集较大时，会占用很多的处理时间。

　　（2）. 而使用iterator()返回结果时，在每次调用iterator.next()返回对象并使用对象时，Hibernate才调用查询将对应的对象初始化，对于大数据量时，每调用一次查询都会花费较多的时间。当结果集较大，但是含有较大量相同的数据，或者结果集不是全部都会使用时，使用iterator()才有优势。

　　5、在一对多、多对一的关系中，使用延迟加载机制，会使不少的对象在使用时方会初始化，这样可使得节省内存空间以及减少数据库的负荷，而且若PO中的集合没有被使用时，就可减少互数据库的交互从而减少处理时间。

　　6、对含有关联的PO（持久化对象）时，若default-cascade="all"或者 “save-update”，新增PO时，请注意对PO中的集合的赋值操作，因为有可能使得多执行一次update操作。

　　7、 对于大数据量新增、修改、删除操作或者是对大数据量的查询，与数据库的交互次数是决定处理时间的最重要因素，减少交互的次数是提升效率的最好途径，所以在开发过程中，请将show_sql设置为true，深入了解Hibernate的处理过程，尝试不同的方式，可以使得效率提升。尽可能对每个页面的显示，对数据库的操作减少到100----150条以内。越少越好。
-------------------------------------------------------------

 批量插入

  在项目的开发过程之中，由于项目需求，我们常常需要把大批量的数据插入到数据库。数量级有万级、十万级、百万级、甚至千万级别的。如此数量级别的数据用Hibernate做插入操作，就可能会发生异常，常见的异常是OutOfMemoryError（内存溢出异常）。
  基本思路：优化Hibernate，在配置文件中设置hibernate.jdbc.batch_size参数，来指定每次提交SQL的数量；程序上采用分段插入及时清除缓存的方法(Session实现了异步write-behind，它允许Hibernate显式地写操作的批处理),也就是每插入一定量的数据后及时的把它们从内部缓存中清除掉，释放占用的内存。
设置hibernate.jdbc.batch_size参数，配置如下。
<hibernate-configuration>
<session-factory>
.........
<property name=” hibernate.jdbc.batch_size”>50</property>
.........
<session-factory>
<hibernate-configuration>

配置hibernate.jdbc.batch_size参数的原因就是尽量少读数据库，hibernate.jdbc.batch_size参数值越大，读数据库的次数越少，速度越快。从上面的配置可以看出，Hibernate是等到程序积累到了50个SQL之后再批量提交。

    hibernate.jdbc.batch_size参数值也可能不是设置得越大越好，从性能角度上讲还有待商榷。这要考虑实际情况，酌情设置，一般情形设置30、50就可以满足需求了。
    插入10000条数据为例，如下:

Session session=HibernateUtil.currentSession();
Transatcion tx=session.beginTransaction();
for(int i=0;i<100000;i++)
...{
Student s=new Student();
s.setName(“Paul”);
session.save(s);
if(i%50==0) //以每50个数据作为一个处理单元
...{
session.flush(); //保持与数据库数据的同步
session.clear(); //清除内部缓存的全部数据，及时释放出占用的内存
}
}
tx.commit();
.........

在一定的数据规模下，这种做法可以把系统内存资源维持在一个相对稳定的范围。

如果启用了二级缓存，从机制上讲Hibernate为了维护二级缓存，我们在做插入、更新、删除操作时，Hibernate都会往二级缓存充入相应的数据。性能上就会有很大损失，建议在批处理情况下禁用二级缓存。