Spark 上下游数据校验及重新处理方法

最新推荐文章于 2024-04-29 02:34:12 发布
最新推荐文章于 2024-04-29 02:34:12 发布
阅读量915 收藏 2
点赞数
分类专栏： Spark Mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31622585/article/details/103385309
版权

需求场景如下:
上游mysql数据库每天经过sqoop导入hive中的分区表，在导入过程中sqoop偶尔会产生error等问题，导致下游数据与上游数据产生偏差，现在需要方法校验数据，以及对数据进行重跑，考虑过后决定使用重刷的方式进行处理

数据质量校验

1.先使用count进行数量上的校验，当上下游相同批次数据条数相同时则无需进行处理
2.当上下游数据量不同时 对下游数据进行重刷

数据重刷

spark通过读取上下游相同批次的两个数据集求full outer join来对比对应字段的null值
以下给出模拟数据集合

上游数据集A

id  
1   data1  .....
2   data2  .....
3   data3  .....
4</
最低0.47元/天 解锁文章
kaloKu
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
data-validator:验证围绕Apache Spark构建的数据的工具
05-06
数据验证器 验证HIVE表中数据的工具。 用法 组装脂肪罐： sbt clean assembly spark-submit --master local data-validator-assembly-0.10.0.jar --help data-validator v0.10.0 Usage: data-validator [options] --version --verbose Print additional debug output. --config <value> required validator config .yaml filename, prefix w/ 'classpath:' to load configuration from JVM classpath/resources, ex. '--co
考拉验数(自动化验数)设计方案和实现
aijiudu的博客
04-08 2270
目录 前言 一、 背景&现状 二、 目标 三、 收益&效果衡量 四、 技术方案&实现 五、 技术实现 六、系统展示 前言 首先说一下名字的由来，憨萌憨萌的考拉 ???????????? 考拉 考拉（验数）特点 憨萌小考拉特性 提高业务、开发人员的工作效率，用了考拉（验数工具）提高了效率，有很多的时间可以用来休息喽 它每天18个小时处于睡
数据仓库之数据质量建设（深度好文）
最新发布
2401_84166567的博客
04-29 402
如何评估数据质量的好坏，业界有不同的标准，我总结了以下六个维度进行评估，包括。完整性指的是数据信息是否存在缺失的状况，数据缺失的情况可能是整个数据记录缺失，也可能是数据中某个字段信息的记录缺失。规范性指的是描述数据遵循预定的语法规则的程度，是否符合其定义，比如数据的类型、格式、取值范围等。一致性是指数据是否遵循了统一的规范，数据集合是否保持了统一的格式。数据质量的一致性主要体现在数据记录的规范和数据是否符合逻辑，一致性并不意味着数值上的绝对相同，而是数据收集、处理的方法和标准的一致。
sqoop数据一致性校验和问题总结
qq_40239192的博客
04-13 1533
Sqoop数据一致性问题 1.mysql空值和hive空值符号不一样，通过加参数可以解决 2.mysql的\n \t 等 字符 与hive的保留字符冲突，通过加参数可以解决 3.sqoop底层是四个map，在导入mysql的时候，可能失败，通过加参数可以解决（相当于临时表+事务） 4.sqoop的数据倾斜问题，通过加参数可以解决（自定义均匀划分范围，让数据均匀分布） 5.mysql与hive字段不匹配问题，如精度不一致，数据类型不一致 如何校验数据一致性 1.行校验 1.1通过元数据 s
基于spark的大数据提取校验框架
10-10 3139
针对数据提取中数据校验和错误定位、缺失值填充等通用问题，我开发了基于spark和python语言的数据提取校验框架wind-fe。 wind_fe数据提取框架将特征提取（数据提取）过程中自动化校验、缺失填充、调试、join产出、批量回溯、自动调度运行、自动添加分区表等通用环节抽象复用。基于这个框架，开发者可以用较少的开发成本获取到自动化校验过的特征数据，同时节约其他数据提取通用环节开发成本。该框架在自动化校验环节也保留扩展点，可以在一次数据校验任务中完成扩展校验，校验所需要的额外的资源消耗较少。该框架在我们
浅谈 Spark SQL 实现任务质量治理的思路
Shockang的博客
10-16 2918
前言 本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见 Spark异常问题汇总 正文 问题 Spark 集群白天资源比较少，分析脚本可能会跑的时间很长，对此我们想做一些限制，但由于晚上和白天的机器不一样多，如果仅仅限制脚本的执行时间，可能不太合理（比如白天这个脚本跑 20min 晚上可能只需要 3min ），有没有更好的方案？ 背景 我们这边主要是希望可以给分析师或者数仓同事一些脚本质量反馈，提高开发效率。
Sqoop增量导入验证（Lastmodified）
日进一步
06-23 3562
核心参数–check-column 用来指定一些列，这些列在增量导入时用来检查这些数据是否作为增量数据进行导入，和关系型数据库中的自增字段及时间戳类似. 注意:这些被指定的列的类型不能使任意字符类型，如char、varchar等类型都是不可以的，同时–check-column可以去指定多个列–incremental 用来指定增量导入的模式，两种模式分别为Append和Lastmodified–la...
基于Scala的Apache Spark大数据处理设计源码
03-28
Apache Spark 是一个强大的分布式计算框架，专为大数据处理而设计，其核心特性是高效的数据缓存和快速的数据处理。在本项目中，源码使用了Scala作为主要开发语言，同时也结合了Java和Python，展示了Spark的多语言...
基于Java的Spark数据处理示例设计源码
04-18
本项目是基于Java的Spark数据处理示例设计源码，共包含157个文件，其中主要...项目旨在通过Java编程语言和Spark框架，展示如何使用Spark进行数据处理，提供一系列数据处理示例，帮助开发者理解和掌握Spark的使用方法。
基于Apache Spark的分布式数据处理设计源码
04-17
本项目是基于Apache Spark开发的分布式数据处理设计源码，主要使用Scala进行开发。项目共包含12518个文件，其中Scala源代码文件3515个，Q脚本文件1559个，Java源代码文件1120个，SQL文件368个，文本文件357个，...
spark数据处理sparkinmemorycluster
11-25
2. **In-Memory Computing**：传统的分布式计算框架如Hadoop主要依赖磁盘存储，而Spark则强调在内存中存储和处理数据，减少了磁盘I/O操作，从而提高了计算速度。这种方式特别适合需要多次读取数据的迭代算法。 3. *...
spark数据处理databrickssparkknowl
10-31
【Spark数据处理与Databricks】是大数据领域中的核心话题，尤其在现代企业数据分析和机器学习应用中占有举足轻重的地位。Spark是由Apache软件基金会维护的开源大数据处理框架，以其高效、易用和可扩展性赢得了业界的...
sqoop数据校验
weixin_30364147的博客
11-27 328
sqoop数据校验 #4 check data oracle_cnt=$(sqoop eval \ -Dmapred.job.queue.name=${queue} \ --connect ${connect} \ --username ${username} \ --password ${password} \ -e " select 'check_data '||count...
Sqoop生产数据倾斜问题验证
NC_NE的博客
12-15 3588
Sqoop数据倾斜
Sqoop的数据处理方法
白茶 清欢的博客
11-15 1112
1，Sqoop 基本命令介绍 1，帮助信息 sqoop help 2，查看具体某个命令的使用方式 sqoop help command 例如：sqoop help import 2，MySQL 数据准备 1，开启 MySQL service mysql start -2 ，查看 MySQL 的数据 Sqoop 数据导入 MySQL 数据导入 HDFS 1...
使用spark检查数据质量
ZhanYunQI的博客
11-23 2490
由于使用HIVE查询出来的报表数据会因为源数据的异常导致不可用，这个时候需要根据数据情况修改代码 ，下面是利用spark针对几个检查项，将检查结果插入到表中 # -*- coding: utf-8 -*- from pyspark import SparkContext from pyspark import HiveContext from pyspark.sql import
三种校验方法
热门推荐
jxm_96的博客
11-05 1万+
奇偶校验根据被传输的一组二进制代码的数位中“1”的个数是奇数或偶数来进行校验。采用奇数的称为奇校验，反之，称为偶校验。采用何种校验是事先规定好的。通常专门设置一个奇偶校验位，用它使这组代码中“1”的个数为奇数或偶数。若用奇校验，则当接收端收到这组代码时，校验“1”的个数是否为奇数，从而确定传输代码的正确性。 校验方法 奇校验：就是让原有数据序列中（包括你要加上的一位）1的个数为奇数 10001
Spark检查重复数据、未观测数据和异常数据
Poor - Because you have no ambition
02-13 3279
数据可以是重复数据、未观测数据和异常数据（离群值），可以有不存在的地址、错误的电话号码、区号，不准确的地理坐标、错误的日期，不正确的标签、大小写字母混乱、尾随空格以及许多其它更小的问题。数据工程师的工作就是清理数据，这样才能建立一个统计或者学习的机器学习的模型 检查重复数据、未观测数据和异常数据（离群值） 重复数据 重复数据是在数据集中出现在不同行，但是仔细检查后是相同的观测数据。 如果你的数据是...
SparkSQL 读取mysql大表速度过慢解决方法
王天一的博客
07-08 5314
问题背景 在使用sqarksql.read读取mysql表时(大约为2400万条左右） val scholarDF = spark.read .format("jdbc") .option("url", "jdbc:mysql://192.168.60.49:3306/test") .option("dbtable", "scholar_2") .o...
"Spark快速数据处理及网络直播APP趋势分析
在使用Spark进行数据处理时，用户可以根据具体的需求选择合适的数据处理方法和算法，以快速处理大规模的数据并获取准确的分析结果。最后，在测试Spark的数据处理和分析功能时，用户需要使用真实的网络直播APP行业...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值