java hibernate 插入数据_hibernate 批量插入数据

如题，有两种方法

1)使用FLUSH

2)使用JDBC

分别来解释：

1)hibernate在进行数据库操作的时候，都要有事务支持的。可能你曾遇到过，没有加事务，程序会报错的情况。

而事务每次提交的时候，都会和数据库交互，即让数据库执行SQL语句。

在说到hibernate中的save() 或者saveOrUpdate()方法，其实，它们都是利用hibernate的一级缓存，在事务没有提交的时候，所有对象，并没有写入数据库。而是保存在内存中。在事务提交的时候，hibernate会把这些对象持久化到数据库中。另一方面，hibernate提供了一个显式的API来强制写数据库。就是FLUSH。当程序执行session.flush()，就会持久化数据，而不必等到事务提交时才执行。

本人写了一个DEMO，一个线程产生USER，一个保存USER。

生产者代码如下：

packagecom.baidu.test;importjava.util.ArrayList;importjava.util.Collections;importjava.util.List;importcom.baidu.model.User;public class test extendsThread {public static int count = 0;public static List userlist = Collections.synchronizedList(newArrayList());publicUser user;public static voidmain(String[] args) {newtest().start();newHandleThread().start();

}public static int usercount=0;

@Overridepublic voidrun() {while (true) {try{

Thread.sleep(2000);

}catch(InterruptedException e) {//TODO Auto-generated catch block

e.printStackTrace();

}

User t= newUser();

t.setId(usercount);

t.setUsername("name_" +usercount);

userlist.add(t);

System.out.println("生产出一个user_"+usercount);

usercount++;

}

}

}

消费者代码如下：

packagecom.baidu.test;importorg.hibernate.Session;importorg.hibernate.SessionFactory;importorg.hibernate.Transaction;importorg.hibernate.cfg.Configuration;importcom.baidu.model.User;public class HandleThread extendsThread {

@Overridepublic voidrun() {boolean flag=false;

Configuration config= newConfiguration();

config.configure();

SessionFactory factory=config.buildSessionFactory();

Session session=factory.openSession();while (true) {if (test.userlist.size() > 0) {for (int i = 0; i < test.userlist.size(); i++) {

System.out.println("处理了"

+test.userlist.get(i).getId());

insert(test.userlist.get(i),session);

}

test.userlist.clear();

}try{

Thread.sleep(3000);

}catch(InterruptedException e) {

e.printStackTrace();

}if(flag)break;

}

session.close();

}public voidinsert(User user,Session session) {

Transaction tran=session.beginTransaction();

session.save(user);if (test.count++ % 10 == 0) {

System.out.println(test.count);

session.flush();

session.clear();

}

tran.commit();

}

}

if (test.count++ % 10 == 0) {

System.out.println(test.count);

session.flush();

session.clear();

}

这段代码就是执行批量操作的核心。当然这个需要在hibernate配置文件中配置下

10

这个值，从网上得到的说法是一次推送SQL语句的条数。暂且相信了，后续我将验证(通过抓包)。

至此，第一种批量处理已经完成。

2) to be continue...

Hibernate批量处理其实从性能上考虑，它是很不可取的，浪费了很大的内存。从它的机制上讲，Hibernate它是先把符合条件的数据查出来，放到内存当中，然后再进行操作。实际使用下来性能非常不理想,在笔者的实际

使用中采用下面的第三种优化方案的数据是:100000条数据插入数据库,主流台式机的配置,需要约30分钟,呵呵,晕倒.

总结下来有三种来处理以解决性能问题：

1：绕过Hibernate API ，直接通过 JDBC API 来做，这个方法性能上是比较好的。也是最快的.

2：运用存储过程。

3：还是用Hibernate API 来进行常规的批量处理，可以也有变，变就变在，我们可以在查找出一定的量的时候，及时的将这些数据做完操作就

删掉，session.flush();session.evict(XX对象集); 这样也可以挽救一点性能损失。这个“一定的量”要就要根据实际情况做定量参考了。一般为30-60左右,但效果仍然不理想.

1：绕过Hibernate API ，直接通过 JDBC API 来做，这个方法性能上是比较好的，也是最快的。(实例为 更新操作)

Transaction tx=session.beginTransaction(); //注意用的是hibernate事务处理边界

Connection conn=session.connection();

PreparedStatement stmt=conn.preparedStatement("update CUSTOMER as C set C.sarlary=c.sarlary+1 where c.sarlary>1000");

stmt.excuteUpdate();

tx.commit(); //注意用的是hibernate事务处理边界

这小程序中，采用的是直接调用JDBC 的API 来访问数据库，效率很高。避免了Hibernate 先查询出来加载到内存，再进行操作引发的性能问题

。

2：运用存储过程。但这种方式考虑到易植和程序部署的方便性,不建议使用.(实例为 更新操作)

如果底层数据库(如Oracle)支持存储过程，也可以通过存储过程来执行批量更新。存储过程直接在数据库中运行，速度更加快。在Oracle数

据库中可以定义一个名为batchUpdateCustomer()的存储过程，代码如下：

代码内容

create or replace procedure batchUpdateCustomer(p_age in number) as

begin

update CUSTOMERS set AGE=AGE+1 where AGE>p_age;

end;

以上存储过程有一个参数p_age，代表客户的年龄，应用程序可按照以下方式调用存储过程：

代码内容

tx = session.beginTransaction();

Connection con=session.connection();

String procedure = "{call batchUpdateCustomer(?) }";

CallableStatement cstmt = con.prepareCall(procedure);

cstmt.setInt(1,0); //把年龄参数设为0

cstmt.executeUpdate();

tx.commit();

从上面程序看出，应用程序也必须绕过Hibernate API，直接通过JDBC API来调用存储过程。

3：还是用Hibernate API 来进行常规的批量处理，可以也有变，变就变在，我们可以在查找出一定的量的时候，及时的将这些数据做完操作就

删掉，session.flush();session.evict(XX对象集); 这样也可以挽救一点性能损失。这个“一定的量”要就要根据实际情况做定量参考了。。

(实例为 保存操作)

业务逻辑为：我们要想数据库插入10 0000 条数据

tx=session.beginTransaction();

for(int i=0;i<100000;i++)

{

Customer custom=new Customer();

custom.setName("user"+i);

session.save(custom);

if(i%50==0) // 以每50个数据作为一个处理单元，也就是我上面说的“一定的量”，这个量是要酌情考虑的

{

session.flush();

session.clear();

}

}

这样可以把系统维持在一个稳定的范围....