数据库高效批量更新

数据库有个表存放着图片文件的相关信息,因为数据量比较大。由于管理不善,其中有重复的文件。因此需要查找重复的文件,并将其标志位置1
如果有大量数据需要更新到数据,如果一条一条update,效率不高。
一开始就是使用了这种方式,但是在处理60万条数据时,要花10分钟左右才能把表更新完。
对这种速度不是很慢,因此查阅了许多相关资料。
其中一种方法就是,先通过批量插入一个临时表,然后通过一条sql语句更新到需要更新的表。
环境是python3 ,mysql数据库,需要用到mysql.executemany(sql,record)的函数,不知道的可以查一下
python核心代码:

#先将需要更新的数据,批量插入到临时表imageFiles_tmp
insertSQL="INSERT INTO `imageFiles_tmp` (`id`, `duplicateTo`, `keep`) VALUES (%s, %s, %s)"
cursor.executemany(insertSQL,updateList)
#将临时表的数据更新到需要更新的表imageFiles 
updateSQL="""UPDATE imageFiles p INNER JOIN imageFiles_tmp pp ON p.id = pp.id SET p.duplicateTo = pp.duplicateTo,p.keep=pp.keep
WHERE pp.id IS NOT NULL """
cursor.execute(updateSQL)
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值