大数据量重复校验

最新推荐文章于 2022-12-02 11:09:30 发布
最新推荐文章于 2022-12-02 11:09:30 发布
阅读量2.4k 收藏
点赞数
分类专栏： 开发小记 算法 文章标签： 大数据 数据库 java

导入的功能，大家都用过，校验很多，比较多的应该算是重复性的校验。

 

比如导入的模板有1000条记录，那么导入的时候可能需要先和数据库里的记录进行比较，还需要和当前模板的其他记录进行比较。看过一个同事的校验逻辑，直接是双重循环，逻辑没有错，但是性能真不是很好

 

现在想到的方法是，利用临时表，具体逻辑：

 

1. 建立tmp表

2. 将当前模板的数据导入到tmp表

3. 在tmp表进行group by 唯一字段，并加上having count(*)>1 条件，这就可以判断当前文档记录的唯一性

4. 将tmp表和目标表进行inner join ，若存在结果集，就表示当前导入的模板记录有何数据库的目标表记录是重复的

 

zengshaotao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
15亿数据重复性校验程序
风在身后的专栏
03-01 2172
有表A 字段信息如下：(id1,id2 ,col1,col2,col3,....colN)id1,id2 为联合主键 。每日数据量在15亿条左右，数据文件大概有350GB，每120MB一个文件。 要求在数据入库前做主键校验，保证装载到DW中的数据主键唯一。(注：DW中没有建立主键约束,即使主键不唯一也能装载成功，要求通过装载前的校验来保证主键唯一)   对于这个问题，我最初的想法是并行校
易数据重复校验器1.1中文绿色免费版
07-27
《易数据重复校验器1.1中文绿色免费版》是一款专为数据验证设计的应用软件，旨在帮助用户快速检查各种类型的数据是否存在重复情况。这款工具适用于多种数据类型的检测，包括手机号码、QQ号码、电子邮件地址、账户名...
简单优化实现大数据量的重复判断和导入
weixin_33958366的博客
06-17 540
   起因 业务如下，有一个数码表，数码是主键，另外还有如导入时间、数码层级、产品编号、产品名称、数码状态等相关字段，但只有数码是主键，无其它索引 要求上传文本文件并导入数码表（文本文件只包含数码信息，一行一个数码），导入的同时将相关信息也写入数码表（相关信息比较固定，可忽略） 导入的过程中需判断数码的格式，比如必须全数字或长度小于某个数，还需要判断数码是否重复 文本...
java校验密码重复的代码
10-21
public static boolean validatePassword(String str) { String REG_PATTERN="^\\w{8,31}$"; Pattern pattern=Pattern.compile(REG_PATTERN); Matcher matcher=pattern.matcher(str); if(matcher.matches()){ for(int i=0;i<str.length()/2;i++){ if(str.replaceAll(str.substring(0,i+1), "").length()==0){ return false; } } return true; } return false; }
关于java后台判断小规模数据重复的思考（算法复杂度相关）后附上判断重复方法js
月夜流心的博客
11-18 417
前后台判定回传重复是经常使用的一个场景，在使用的过程中我常常会思考大数据量时候怎么更方便去重，在今天的一个上午我思考了几种方法（前几种为伪代码）： 1.使用foreach循环遍历回传需要判断重复的数组，一个一个比较重复 for (String s : list) { for (String s1 : list) { if(s1 == s) { Sy...
核验大量数据是否重复
weixin_43882507的博客
08-18 448
大量数据对比方法
大数据去除重复--实战（一）
Hello World
01-25 3597
          最近快过年了，来了一个紧急任务，加班加点的一周，终于上线了。也没多少时间去研究出去重复数据的算法，上一篇文章的算法，理论是可以的！但是由于我采用的行迭代的方式，JVM 会出现栈的深度溢出，我就换了一种方式，这里再次介绍给大家：           回顾一下题目：超过内存限制的URL，去除重复数据！               我的方法是根据hashCode 范围进行分...
eaasyexcel批量导入+校验
12-13
1.数据模型层面进行了封装，使用简单 2.重写了07版本的Excel解析代码，减低内存消耗，可以有效避免OOM 3.只能操作Excel 4.不能读取图片 5.读写Excel，数据在excel文件，程序<实体类，MAP>两个载体之间 互相流转
分享MYSQL插入数据时忽略重复数据的方法
09-10
另一方面，如果你的数据量较小，或者对数据一致性有严格要求，`REPLACE INTO`的“替换”行为可能更能满足需求。 总的来说，理解并正确使用`REPLACE INTO`和`INSERT [IGNORE] INTO`是MySQL数据库管理中的重要技能，...
数据校验工具
06-25
2. 批量校验：支持批量导入数据文件，一次性对大量数据进行校验，提高工作效率。 3. 实时校验：在数据输入过程中实时进行校验，减少错误积累。 4. 错误提示：提供明确的错误提示信息，帮助用户快速理解错误原因并...
EasyValidate优雅地校验提交数据完整性
08-26
主要介绍了EasyValidate优雅地校验提交数据完整性，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
重复文件校验
03-24
1. **备份数据**：在进行大规模清理前，最好先备份重要数据，以防误删。 2. **谨慎操作**：不要立即删除所有找到的重复文件，因为有些可能与程序运行或系统功能有关。 3. **分批处理**：大范围的重复文件清理可以...
权重判断数据库重复数据（逻辑算法）
weixin_45286744的博客
12-06 800
由于之前添加数据问题导致数据库中有重复数据，今天做的工作将重复数据进行比较，谁的数据中有效字段最多留下。 第一步我们得到需要筛查的数据 adminCoreDbEntities AD = new adminCoreDbEntities(); public ActionResult Index() { CMSPois pi = new ...
mysql 大数据量统计重复问题
小洪帽i的博客
07-28 1099
上亿条数据（有重复），统计其中出现次数最多的前N个数。 以上类型题目其本质其实是属于统计类型的业务，比如：统计目前商品表中各个分类的商品数量，并排出前十的分类以及分类商品数量。 对于这种业务我们有多种不同的方案，一下的方案解释： 该类型的案例：统计目前商品表中各个分类的商品数量，并排出前十的分类以及分类商品数量。 设计SQL语句以及表此时数据量： select count(*) as count,category_id from products group by category_id order by
海量数据查重问题解决方案
LIJIWEI0611的博客
12-12 1066
1. 处理海量数据问题的四种方式 分治 基本上处理海量数据的问题，分治思想都是能够解决的，只不过一般情况下不会是最优方案，但可以作为一个baseline，可以逐渐优化子问题来达到一个较优解。传统的归并排序就是分治思想，涉及到大量无法加载到内存的文件、排序等问题都可以用这个方法解决。 适用场景:数据量大无法加载到内存 有一个文件，有大量的整数，50亿个整数，内存限制400M，找到文件中重复的元素，重复的次数。 1G=1024x1024x1024=10 7374 18
机器学习 | 你的数据量足够吗？ 1个验证法、4项估算准则
u013119129的博客
12-02 759
数据量估算方法
循环冗余校验（CRC）算法入门引导
skypeGNU的专栏
08-01 2510
写给嵌入式程序员的循环冗余校验（CRC）算法入门引导 前言 CRC校验（循环冗余校验）是数据通讯中最常采用的校验方式。在嵌入式软件开发中，经常要用到CRC 算法对各种数据进行校验。因此，掌握基本的CRC算法应是嵌入式程序员的基本技能。可是，我认识的嵌入式程序员中能真正掌握CRC算法的人却很少，平常在项目中见到的CRC的代码多数都是那种效率非常低下的实现方式。 其实，在网上有一篇介绍C
关于EXCEL大批量数据导入校验，效率太慢的性能优化
Wicd的博客
04-12 1万+
下面的代码无法复制粘贴直接使用，主要记录一个性能优化的方法。 若有兴趣，可以认真阅读。 1.首先描述一下Excel导入的步骤 2.当Excel内有大批量的数据时，如何优化校验这个步骤。 我的处理方法是: * Excel性能优化方法 * 将Excel数据进行划分处理 * 1.根据某一列的属性,把Excel数据划分成...
数据库大数据量的优化方案
热门推荐
zhiyikeji的博客
03-04 1万+
在系统开发的初期以及使用的初期，一般不会太过于在意数据库的设计以及sql语句的优化，这就会导致系统有可能在日积月累的海量数据下越来越慢直至崩溃，所以以后在系统 数据库设计之初完备的数据库模型的设计是必须的。 优化数据库方案 对于数据库的的优化此处给出三种优化方案： 1.优化现有mysql数据库 优点：不影响现有业务，源程序不需要修改代码，成本最低 缺点：有优化瓶颈，数据量过亿就无法继续支撑相应的业务 2.升级数据库类型，换一种100%兼容mysql的数据库 优点：不影响现有业务，源程序不需要修改代码，你几
dbeaver迁移大量数据
最新发布
06-08
如果要迁移大量数据，可以考虑使用DBeaver的数据传输功能，该功能可以在两个数据库之间传输数据。下面是使用数据传输功能迁移大量数据的步骤： 1. 打开DBeaver，连接源数据库和目标数据库。 2. 在DBeaver的导航栏中选择“数据传输”。 3. 在数据传输窗口中，选择源数据库和目标数据库。 4. 选择要传输的表和要传输的数据，可以选择全部表和数据。 5. 点击“下一步”，选择传输方式和目标表名。 6. 点击“下一步”，可以选择是否在传输前清空目标表，以及是否启用事务和数据校验等选项。 7. 点击“下一步”，可以设置传输的线程数和批量大小等参数。 8. 点击“开始传输”，等待数据传输完成。 注意事项： 1. 数据传输可能需要一定时间，具体时间取决于数据量和网络状况等因素。 2. 在传输数据前，要确保目标数据库中没有与源数据库中重复的记录。 3. 在传输数据时，可以选择启用事务和数据校验等选项，以保证数据传输的正确性和完整性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值