python在数据库有自增id的情况下,向数据库插入不重复数据(除id外其余相同的数据被视为重复数据)
目前有一张表,主键和索引都是id,int类型且自增,我的代码每十分钟扫描一次数据,将这十分钟内新增的数据添加到数据库,但是由于执行代码需要时间,只扫描十分钟的数据会产生遗漏数据,所以暂定为扫描十一分钟的数据,由此会有少部分的重复数据被导入数据库。经过评判,暂定方法一,因为方法二消耗资源过多,加大负载,同时导入重复数据本就逻辑上不够完善。最终敲定了这个方法:在每条数据导入时,先采用exists方法判断是否存在,如果存在就导入,否则忽略,这个方法也有一定的资源消耗,总体来说还算是较优的。
原创
2022-10-14 13:34:42 ·
790 阅读 ·
2 评论