mysql批量insert into_mysql批量插入数据

review代码发现,同事mysql批量插入数据的实现方法是,用for循环遍历,将列表每个数据单次插入。相当于批量插入N条数据,进行了n次的数据库连接和插入操作。

底层有批量插入的方法,但是会有问题,所以已经停用,看下面实现是,取到一个数据库连接,来处理后面所有的插入操作。若这个列表ops所有的sql语句执行的数据库都是同一个的话,就没什么问题,若里面存在散库的情况,只要跟第一个不在同一个库的,都会执行失败。

public void insertBatch(Listops) throws SQLException {if(ops != null && ops.size() != 0) {

OpBatchUpdate firstOp= (OpBatchUpdate)ops.get(0);if(firstOp.bizName != null && firstOp.bizName.trim().length() != 0) {

PreparedStatement ps= null;

Connection conn= null;long begin = 0L;try{

begin= this.sqlBegin();

conn= this.getConn('w', firstOp);//取第一个来监理数据库连接

Iterator i$=ops.iterator();while(i$.hasNext()) {

OpBatchUpdate opb=(OpBatchUpdate)i$.next();

ps=conn.prepareStatement(opb.getSql());

opb.setParam(ps);ps.executeUpdate();if(ps != null) {

ps.close();

}

}

}finally{this.closeRSC((ResultSet)null, ps, conn);this.sqlEnd("excutebatch sql,", begin);

}

}else{throw new SQLException("----- the bizName of the first opbatchupdate object can\'t null -------------");

}

}else{throw new SQLException("----- the opbatchupdate list can\'t null -------------");

}

}

对同一个库的同一个表进行批量插入操作。有两种方法:

以表smily_test为例:

CREATE TABLE `smily_test` (

`id`int(11) NOT NULL AUTO_INCREMENT,

`uid`int(11) unsigned NOT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=21 DEFAULT CHARSET=utf8;

1. for循环,将数据一条条插入。

insert into smily_test (uid) values(1);

insert into smily_test (uid) values(2);

insert into smily_test (uid) values(3);

2. 单次批量插入。

insert into smily_test (uid) values(1),(2),(3);

通过profile分析(查看mysql语句运行时间)得知:

方法2比方法1的效率高。

+----------+------------+------------------------------------------------+

| Query_ID | Duration | Query |

+----------+------------+------------------------------------------------+

| 5 | 0.00079800 | insert into smily_test (uid) values(1) |

| 6 | 0.00081300 | insert into smily_test (uid) values(2) |

| 7 | 0.00078700 | insert into smily_test (uid) values(3) |

| 8 | 0.00083200 | insert into smily_test (uid) values(1),(2),(3) |

+----------+------------+------------------------------------------------+

总结:

方法1:执行效率偏低,会进行多次数据库的连接,比较耗时。但是适用于散库、散表的情况。

若数据在不同的库,则只能进行多次数据库连接。

若列表数据要插入同1个库的不同的表中,则可以选择1次数据库连接,多次数据插入执行的方式。

方法2:执行时间短,只适用于对同一个库同一个表批量插入数据的情况。

根据表格数据批量生成Insert Into语句 本人在登陆CSDN论坛的数据库板块时,常看到很多网友提关于数据库的各种问题。而这些问题中有很多是要使用范例数据的。但是很多提问的朋友却没有把这些范例数据库的INSERT INTO语句写出来,只是以这种方式提供:id dates num1 num2---------------------------------------------------------0001 2004-4-5 2000 3000 0002 2004-4-5 1000 5000 0003 2005-6-7 1500 3000 0004 2006-5-6 1200 3000 0005 2005-6-7 1300 3400 对于回答问题网友来说,见表和构建INSERT INTO语句是很费时间的,很多时候用于这里的时间比写出要求的SQL语句用的时间还多,其不是对答题网友时间的及大浪费。现在这种状况可以得到改善了。本人利用空余时间写了个小程序strfmt.exe,它可以批量将上面或类似的数据一次性生成INSERT INTO # VALUES语句,如INSERT INTO # VALUES ('0001','2004-4-5','2000','3000')INSERT INTO # VALUES ('0002','2004-4-5','1000','5000')INSERT INTO # VALUES ('0003','2005-6-7','1500','3000')INSERT INTO # VALUES ('0004','2006-5-6','1200','3000')INSERT INTO # VALUES ('0005','2005-6-7','1300','3400')或者生成INSERT INTO # SELECT语句,如INSERT INTO # SELECT '0001','2004-4-5','2000','3000'INSERT INTO # SELECT '0002','2004-4-5','1000','5000'INSERT INTO # SELECT '0003','2005-6-7','1500','3000'INSERT INTO # SELECT '0004','2006-5-6','1200','3000'INSERT INTO # SELECT '0005','2005-6-7','1300','3400'有了strfmt.exe,广大答题者就能大大提高答题效率,不必浪费时间在范例数据的构建上了。 本程序只是本人业余之作,没有进行系统性的测试,希望用户能反馈出现的问题。程序存在已知问题如不能区分形如2007-11-13 12:12:00:564这种日期和时间中间有空格的字段,程序会把它们当成两个字段。在未来的改进版本中将处理这个问题。希望用户提出本程序的改进建议,本人不胜感激!联系邮箱:internetroot@hotmail.com
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值