项目开发中，大数据量的增删改查的若干解决方法

近期，一直在做一个基于SSH2框架的ERP项目，也算得上是自己的处女作，趁晚上有时间，分享一下。

      自从有了SSH等这样的框架之后，越来越多的java开发人员喜欢使用框架来做开发，其中hibernate便是最经常被用到的框架之一，有了它，可以让开发人员省去很多气力写琐屑的代码段，用JDBC去做数库中的CRUD操作，当项目很小，数据量不大时候，还可以接受，当数据量了上10万级别，很多时候纯依靠它的操作开始变的不爽，下边举几个我经常遇到的场景，并写出解决方法。

1、当从文本中读出几千行数据保存至数据库时，如何操作？

     最简单直接也是最慢的办法，读一条数据插入一条数据，如有3000条数据就意味着要进行3000次操作，换做是纯sql的话还快些，如果是用hibernate就要慢许多了。

     解决办法：批量保存。 即将3000个对象逐条读出放入一个范形List<Entity>，然后用hibernate提供的hqlManager.saveCollection(List<Entity>)就可以了，其中的一次性批量提交值是可以在hibernate配置参数中得到的，一般30-50就可以了，这做之后速度会提升至少2倍以上。

 

2、如果要对1中读取的数据去重，如何办？

     最笨的办法是，加一条判重一次，看是否添加，在几条数据的时候还可以接受，若上百上千绝不可行，也可以将这些放入一个Set中，自动去重，但是这些办法的时间和空间效率还是蛮高的。

     解决办法：全部统统先放入数据库，写稍高级的sql来去重，如delete from table_a where table_a.id in ..+子查询，这样的去重耗时极少，在上万条的数据中，在ms级就可完成。

 

3、如果要对2之后的结果集进行多表级联更新，如何办？

      有很多初学者或是开发经验很少的开发者，会选择用JDBC或是Hibernate写递归调用或多级循环的方式，来解决，想一下，若是上千条的话，这个时间代价根本不可行。

      用稍高级的update语句就可以，很多人没有想到，是因为很多程序员对sql不熟，只限于简单的CRUD的sql应用，其实sql本身太强大了，像刚刚的问题写一个3表级联后的update操作，数据量在1-10万之间的话，时间应在1s之内，经常我的实际使用，速度快的比用程序处理快很多倍。

 

4、取一个表中几千条数据name属性，如何办？

      简单直接的办法，用hql或sql逐条取出后，做拼接而得到，这需要在程序中做遍历，很费时间。

      解决方法：用存储过程来解决，很多程序员善写程序，但是不愿意用数据库方面下功夫，其实不然，很多问题从数据库着手解决很省去很多事情，如这个问题，用存储过程中写个简单的游标cursor操柞，将多个名字用#或是其它特殊字符做联接，一次性取得，再split一下即可。

 

 

时间原因，仅列举几处，望有补充交流~