问题描述
在java中执行update语句,更新一个有150万条记录的表,速度特别慢,约2条sql语句/s。
分析
影响通过jdbc执行update语句的因素主要有如下几种:
- 网络IO(对应解决方案1)
- 执行update语句(对应解决方案2)
速度过慢主要是update语句中的where子句造成的。
解决方案
1. 采用jdbc批量执行,减少java io。
主要用到如下几个方法:
addBatch(String):添加需要批量处理的SQL语句或是参数;
executeBatch();执行批量处理语句;
clearBatch();清除批量打包
多条SQL语句的批量处理;
Statement updateAll = connection.createStatement();
for (int i=0;i<1000;i++){
updateStr = "update xxxx set yyyyy where zzzz"
updateAll.addBatch(updateSqlStr); // 添加需要批量处理的SQL语句
if((i+1)%100==0){
updateAll.executeBatch(); // 执行批量处理语句
updateAll.clearBatch(); // 清除updateAll中的批量SQL语句
}
}
该方法对效率有一定提升,但不是特别明显。
2. 检查表设计是否合理,将where子句搜索的列设置为主键
原因 在sqlserver中主键使用的是聚集索引,索引中数据的逻辑顺序决定了数据的物理顺序(是一种Hash索引?),因此相对非聚集索引有更快的检索速度。
使用该方法后,显著提升了Update语句的执行速度。
数据库小白一枚,还望大家多多指教