对于需要根据客户操作更新数据的情况的去重复处理

原创 2015年11月18日 11:08:52

情景:抓取其他网站数据到自己网站的数据库中,当有客户搜索数据的时候,及时从其他网站更新数据到自己的数据库库


老设计:将客户搜索的title 存入到数据库中,根据title  进行搜索,此时会导致多次重复情况。   在程序中进行处理,存数据前先读取判断。此方法一时会有读取操作,而是在数据库的结构设计商依然无法避免  title重复的情况


新方法:将表的主键设定为 title + time 联合主键   ,这样重复的数据就不存在了。其中time可以设定为当天,也可以设定为当前时间的前后一个小时,半个小时等等。

相关文章推荐

sqlserver中多行所有数据重复,无法更新或删除问题,通常是在没有主键的情况下的表

sqlserver中多行所有数据重复,无法更新或删除问题,通常是在没有主键的情况下的表.错误: 先确认一下表中有没有主键,要是没有就得使用临时表来实现删除重复的行。方法一:DELETE FROM 表名...

并发insert情况下会发生重复的数据插入问题

并发insert情况下会发生重复的数据插入问题 1.背景    用多线程接收推送的订单数据,把接收的订单数据存到一个表中,实现的需求是:如果接收的订单消息在数据库中已经存在,那么执行update操作;...

Oracle数据库重复数据删除的三种情况

在对数据库进行操作过程中我们可能会遇到这种情况,表中的数据可能重复出现,使我们对数据库的操作过程中带来很多的不便,那么怎么删除这些重复没有用的数据呢? 重复数据删除技术可以提供更大的备份容量,实现更...

Oracle数据库删除重复数据的情况

重复数据删除技术可以提供更大的备份容量,实现更长时间的数据保留,还能实现备份数据的持续验证,提高数据恢复服务水平,方便实现数据容灾等。 重复的数据可能有这样两种情况,第一种时表中只有某些字段一样,第二...

一道面试题,内存受限的情况,如何在海量的数据中找到重复最多的

昨天,去腾讯面试,被一道

如何在有限的内存的情况下,找到大量数据中重复查询次数最多的语句

//500K内存,100万条数据,寻找里面重复查询次数最多的记录 //思想显示对100万条数据分在不同的文件中,但是在分文件中的时候,要对起进行一定处理,分到对于的文件中,比如分成100个 //文...

客户要求,手机只有在漫游的情况下才显示网络数据图标E,3G,H,H+,4G等。

客户需求国外的客户要求,手机只有在漫游的情况下才显示网络数据图标E G H 3G 4G 等。无语的客户。实现方案具体的修改文件在framework中 MobileSignalController.j...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:对于需要根据客户操作更新数据的情况的去重复处理
举报原因:
原因补充:

(最多只允许输入30个字)