背景:
你可能会很少用到批量更新,但是批量更新的需求确实存在,比如上传大量数据时,这个是需要批量更新的。如果你还是一条一条的更新,如果程序反应很慢,会影响用户的体验。
批量更新实现的四种方式:
批量更新有四种方式,我最终选择了最后一种方式,理由会给出。
1、.replace into 批量更新:
replace into test_tbl (id,dr) values (1,‘2’),(2,‘3’),…(x,‘y’);
2、insert into …on duplicate key update批量更新
insert into test_tbl (id,dr) values (1,‘2’),(2,‘3’),…(x,‘y’) on duplicate key update dr=values(dr);
3、创建临时表,先更新临时表,然后从临时表中update:
例如:
create temporary table tmp(id int(4) primary key,dr varchar(50));
insert into tmp values (0,‘gone’), (1,‘xx’),…(m,‘yy’);
update test_tbl, tmp set test_tbl.dr=tmp.dr where test_tbl.id=tmp.id;
注意:这种方法需要用户有temporary 表的create 权限。
4、update 表名 set 字段 = case id when 1 then 字段值 when 2 then 字段值 when 3 then 字段值 end where id in (1,2,3)
对于第1、2种方式,网上大多人认为不是合适的理由是:
replace into 和 insert into on duplicate key update的不同在于:
replace into 操作本质是对重复的记录先delete 后insert,如果更新的字段不全会将缺失的字段置为缺省值
insert into 则是只update重复记录,不会改变其它字段。
所以两者的区别只有一个,insert … on deplicate udpate保留了所有字段的旧值,再覆盖然后一起insert进去,而replace没有保留旧值,直接删除再insert新值。
从底层执行效率上来讲,replace要比insert … on deplicate update效率要高,但是在写replace的时候,字段要写全,防止老的字段数据被删除。
第四种方式,其实就是拼接的case when case when.
拼接的SQL语句类似于这种:
* UPDATE book
* SET book_id = CASE id
* WHEN 1 THEN 3
* WHEN 2 THEN 4
* WHEN 3 THEN 5
* END,
* name = CASE id
* WHEN 1 THEN 'New Title 1'
* WHEN 2 THEN 'New Title 2'
* WHEN 3 THEN 'New Title 3'
* END
* WHERE id IN (1,2,3)
case when 的方式实现批量更新:
原理很简单,其实就是拼接成一条条的SQL语句,这条SQL语句是按照case when这种方式拼接的。在这里我做了限制,设置大于200条数据就会自动的切分SQL,防止一条SQL语句量过大。
代码实现:
// tableName表的名字,itemList你定义的数组类型的结构体,[]*Demo
func buildBatchUpdateSQLArray(tableName string, dataList interface{
}) ([]string, *wmserror.WMSError) {
fieldValue := reflect.ValueOf(dataList)
fieldType := reflect.TypeOf(dataList).Elem().Elem()
sliceLength := fieldValue.Len()
fieldNum := fieldType.NumField()
// 检验结构体标签是否为空和重复
verifyTagDuplicate := make(map[string]string)
for i := 0; i < fieldNum; i++ {
fieldTag := fieldType.Field(i).Tag.Get("gorm")
fieldName := GetFieldName(fieldTag)
if len(strings.TrimSpace(fieldName)) == 0 {
return nil, wmserror.NewError