使用Hibernate进行大数据量的性能测试

转载 2007年09月16日 00:14:00

近日为是否在项目中使用Hibernate进行大数据量的性能测试,有一些总结,
1) 在处理大数据量时,会有大量的数据缓冲保存在Session的一级缓存中,这缓存大太时会严重显示性能,所以在使用Hibernate处理大数据量的,可以使用session.clear()或者session. Evict(Object) 在处理过程中,清除全部的缓存或者清除某个对象。
2) 对大数据量查询时,慎用list()或者iterator()返回查询结果,
1. 使用List()返回结果时,Hibernate会所有查询结果初始化为持久化对象,结果集较大时,会占用很多的处理时间。
2. 而使用iterator()返回结果时,在每次调用iterator.next()返回对象并使用对象时,Hibernate才调用查询将对应的对象初始化,对于大数据量时,每调用一次查询都会花费较多的时间。当结果集较大,但是含有较大量相同的数据,或者结果集不是全部都会使用时,使用iterator()才有优势。
3. 对于大数据量,使用qry.scroll()可以得到较好的处理速度以及性能。而且直接对结果集向前向后滚动。
3) 对于关联操作,Hibernate虽然可以表达复杂的数据关系,但请慎用,使数据关系较为简单时会得到较好的效率,特别是较深层次的关联时,性能会很差。
4) 对含有关联的PO(持久化对象)时,若default-cascade="all"或者 “save-update”,新增PO时,请注意对PO中的集合的赋值操作,因为有可能使得多执行一次update操作。
5) 在一对多、多对一的关系中,使用延迟加载机制,会使不少的对象在使用时方会初始化,这样可使得节省内存空间以及减少数据库的负荷,而且若PO中的集合没有被使用时,就可减少互数据库的交互从而减少处理时间。
6) 对于大数据量新增、修改、删除操作或者是对大数据量的查询,与数据库的交互次数是决定处理时间的最重要因素,减少交互的次数是提升效率的最好途径,所以在开发过程中,请将show_sql设置为true,深入了解Hibernate的处理过程,尝试不同的方式,可以使得效率提升。
7) Hibernate是以JDBC为基础,但是Hibernate是对JDBC的优化,其中使用Hibernate的缓冲机制会使性能提升,如使用二级缓存以及查询缓存,若命中率较高明,性能会是到大幅提升。
8) Hibernate可以通过设置hibernate.jdbc.fetch_size,hibernate.jdbc.batch_size等属性,对Hibernate进行优化。

各位高手,请提宝贵意见。

 

Hibernate大数据量处理,大量数据处理代码优化方法概念(转载)

1) 在处理大数据量时,会有大量的数据缓冲保存在Session的一级缓存中,这缓存大太时会严重显示性能,所以在使用Hibernate处理大数据量的,可以使用session.clear()或者sessi...
  • zhaopengyr
  • zhaopengyr
  • 2013年11月05日 22:17
  • 1118

hibernate对大数据资源的处理操作

package tk.blank_hibernate.bean; import java.io.Serializable; import java.sql.Blob; public ...
  • u012160235
  • u012160235
  • 2014年01月10日 15:50
  • 367

使用Hibernate进行大数据量的性能测试

在项目中使用Hibernate进行大数据量的性能测试,有一些总结,     1) 在处理大数据量时,会有大量的数据缓冲保存在Session的一级缓存中,这缓存大太时会严重显示性能,所以在使用Hibe...
  • axindao
  • axindao
  • 2015年12月16日 10:55
  • 208

使用Hibernate进行大数据量的性能测试

使用Hibernate进行大数据量的性能测试 在项目中使用Hibernate进行大数据量的性能测试,有一些总结,          1) 在处理大数据量时,会有大量的数据缓...
  • gaoqiao1988
  • gaoqiao1988
  • 2014年08月11日 16:13
  • 484

MySQL大数据量快速插入方法和语句优化

http://blog.jobbole.com/85659/ MySQL大数据量快速插入方法和语句优化是本文我们主要要介绍的内容,接下来我们就来一一介绍,希望能够对您有所收获! INS...
  • zhaoliang831214
  • zhaoliang831214
  • 2016年04月01日 07:56
  • 524

redis-大数据量访问场景小聊

转载:http://aodi.paic.com.cn/forum.php?mod=viewthread&tid=5232&fromuid=1 感谢同事的分享。 很多同事不是很清楚redis...
  • U201017971
  • U201017971
  • 2017年12月25日 14:08
  • 324

大数据量时Mysql的优化要点

如今随着互联网的发展,数据的量级也是撑指数的增长,从GB到TB到PB。对数据的各种操作也是愈加的困难,传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机...
  • diquren
  • diquren
  • 2016年01月29日 13:57
  • 2088

hive 大数据量 参数设置

hive> set mapred.map.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; hive> set m...
  • nihaoma_ff
  • nihaoma_ff
  • 2017年05月02日 10:46
  • 223

大数据量数据库优化

一、数据库结构的设计    如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能。所以,在一个系统开始实施之前,完备的数据库模型的设计是必...
  • hawk140
  • hawk140
  • 2016年08月28日 11:47
  • 853

JAVA读大数据量Excel

JAVA读大数据量Excel,对Excel各种类型的单元格数据进行分类处理,最后封装到一个类中。 只需要传入Excel文件即可进行逐行读取内容...
  • zp19890228
  • zp19890228
  • 2014年12月09日 13:05
  • 4565
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:使用Hibernate进行大数据量的性能测试
举报原因:
原因补充:

(最多只允许输入30个字)