现在有个表里有1000万条记录,需要全部读取出来执行业务一遍。(每次读取100条,每条记录只能被读取一次,查询过的记录修改State为1)
现在我用的是乐观锁,先用php从mysql读取出没执行过的最后100条记录
SELECT * FROM `list` WHERE `State` = '0' LIMIT 100
然后一条一条修改State改成1,修改成功的,则是有效可用的,否则就是被其他线程抢先修改了
UPDATE `list` SET `State` = '1' WHERE `Id`='1' AND `State` = '0'
这样子,在并发低的情况下是挺好有的,但是在高并发下就不行了
因为同一时间查询的线程都是读取到的记录都是相同的,通过乐观锁过滤掉重复的记录后,最后每个线程剩下的可用记录就少得可怜……
解决:
直接
'UPDATE `list` SET `State` = '1' WHERE `State` = '0' LIMIT 100;'
就获取并锁定了100条。也保证了其他进程无法再拿到这100条数据了。
咦。。等等,我们是锁定了。但是我们不知道这100条数据的id啊。看来这样行不通。
除非我们加个字段,UPDATE的时候,顺便把这100条数据打上我这个进程的标记:
'UPDATE `list` SET `State` = '1', `pid` = ' . getmypid() . ' WHERE `State` = '0' LIMIT 100;'
锁定了之后,再:
'SELECT * FROM `list` WHERE `pid` = ' . getmypid() . ' LIMIT 100'
来拿到这100条数据。处理完了再:
'UPDATE `list` SET `pid` = ' . getmypid() . ' WHERE `pid` = '0''
好了。这就实现了。但是总感觉不够优雅。