1.基本思想
基本的思想是保存对象是及时将hibernate的一级缓存同步到数据库中,并且清空一级缓存。(关于一级缓存和二级缓存的区别可以参照)
一级缓存是Session级别的,也可以说是线程级别,一个线程对数据库进行的操作都放在一级缓存中。使用Hibernate的session.save保存对象时,该对象其实是保存在一级缓存中的,没有更新到数据库中,后面如果该线程继续对数据库进行操作时,会检查要操作的对象是否在这个一级缓存中,如果在,那么就不用去访问数据库了(加快了数据访问速度),如果不在一级缓存中,才去访问数据库。使用Hibernate大量保存数据时,一级缓存会越积越多,有两个风险:
- 可能会导致Hibernate占用内存过多,造成OOM错误。
- 由于后面的数据库操作时,每次都会检查这个一级缓存,一级缓存越大,检查的时间越长,所以导致“数据越存越慢”的情况,前1W条五分钟,后1W面可能就要10分钟了,时间都用来检查这个一级缓存去了。
2.解决办法
session = HibernateUtil.getSession();
session.beginTransaction();
Object object = null;
for (int i = 0; i < list.size(); i++) {
object = list.get(i);
session.save(object);
if (i % 10 == 0) {
session.flush();
session.clear();
}
}
session.getTransaction().commit();
就是每保存一定数量的对象后,将更改同步到数据库,并清除缓存。一个更加完整的例子可以
参照。
有人说可以用batch_size来解决,但有的数据库(例如mysql)是不支持batchsize的
有人说可以用batch_size来解决,但有的数据库(例如mysql)是不支持batchsize的