注意,这里不是说多线程并发,而是多进程!多线程可以通过加锁来控制并发访问,但是进程之间是没有共享资源的,无法通过加锁来控制!
面临的场景
先简单描叙下我面临的场景,有10个python进程,都会访问数据库里的同一张表,访问流程都如下:
step1: 通过select 语句检查该表是否存在,
step2: 如果不存在,创建该表,设置time值
如果存在,读取该表的time值,加1后再update该表
面临的问题
简单分析可以看到这个流程存在的问题:
1)当该表不存在时,有可能有两个进程同时检测到该表不存在,只有一个进程能创建成功,另一个进程会失败。
2)当该表不存在时,有可能两个进程同时读取到该表的time值为3,加1后都为4,这样的结果不符合我们的预期,因为两个进程依次访问后结果应该为5。
解决办法
1)刚开始我想做成事务,但是发现所有进程都执行同样的事务时,只有一个进程能执行,其余会报错:
sqlite3.OperationalError: database is locked
说明事务并不能自动等待锁释放。
2)也可以考虑做成无锁设计,每个进程分配一张表,这样就不会产生并发冲突了,但是我还是想死磕下数据库并发,毕竟这个是我不熟悉的领域。