go实现数据库的批量更新

背景:

  你可能会很少用到批量更新,但是批量更新的需求确实存在,比如上传大量数据时,这个是需要批量更新的。如果你还是一条一条的更新,如果程序反应很慢,会影响用户的体验。

批量更新实现的四种方式:

  批量更新有四种方式,我最终选择了最后一种方式,理由会给出。
1、.replace into 批量更新:
replace into test_tbl (id,dr) values (1,‘2’),(2,‘3’),…(x,‘y’);
2、insert into …on duplicate key update批量更新
insert into test_tbl (id,dr) values (1,‘2’),(2,‘3’),…(x,‘y’) on duplicate key update dr=values(dr);
3、创建临时表,先更新临时表,然后从临时表中update:
例如:
create temporary table tmp(id int(4) primary key,dr varchar(50));
insert into tmp values (0,‘gone’), (1,‘xx’),…(m,‘yy’);
update test_tbl, tmp set test_tbl.dr=tmp.dr where test_tbl.id=tmp.id;
注意:这种方法需要用户有temporary 表的create 权限。
4、update 表名 set 字段 = case id when 1 then 字段值 when 2 then 字段值 when 3 then 字段值 end where id in (1,2,3)
对于第1、2种方式,网上大多人认为不是合适的理由是:
replace into 和 insert into on duplicate key update的不同在于:
replace into 操作本质是对重复的记录先delete 后insert,如果更新的字段不全会将缺失的字段置为缺省值
insert into 则是只update重复记录,不会改变其它字段。
 所以两者的区别只有一个,insert … on deplicate udpate保留了所有字段的旧值,再覆盖然后一起insert进去,而replace没有保留旧值,直接删除再insert新值。

从底层执行效率上来讲,replace要比insert … on deplicate update效率要高,但是在写replace的时候,字段要写全,防止老的字段数据被删除。
 
第四种方式,其实就是拼接的case when case when.
拼接的SQL语句类似于这种:

* UPDATE book 
*     SET book_id = CASE id 
*         WHEN 1 THEN 3 
*         WHEN 2 THEN 4 
*         WHEN 3 THEN 5 
*     END, 
*     name = CASE id 
*         WHEN 1 THEN 'New Title 1'
*         WHEN 2 THEN 'New Title 2'
*         WHEN 3 THEN 'New Title 3'
*     END
* WHERE id IN (1,2,3)   

case when 的方式实现批量更新:

  原理很简单,其实就是拼接成一条条的SQL语句,这条SQL语句是按照case when这种方式拼接的。在这里我做了限制,设置大于200条数据就会自动的切分SQL,防止一条SQL语句量过大。
代码实现:

// tableName表的名字,itemList你定义的数组类型的结构体,[]*Demo
func buildBatchUpdateSQLArray(tableName string, dataList interface{
   }) ([]string, *wmserror.WMSError) {
   

	fieldValue := reflect.ValueOf(dataList)
	fieldType := reflect.TypeOf(dataList).Elem().Elem()
	sliceLength := fieldValue.Len()
	fieldNum := fieldType.NumField()

	// 检验结构体标签是否为空和重复
	verifyTagDuplicate := make(map[string]string)
	for i := 0; i < fieldNum; i++ {
   
		fieldTag := fieldType.Field(i).Tag.Get("gorm")

		fieldName := GetFieldName(fieldTag)
		if len(strings.TrimSpace(fieldName)) == 0 {
   
			return nil, wmserror.NewError
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值