Spark 上下游数据校验及重新处理方法

最新推荐文章于 2021-12-15 22:27:03 发布
最新推荐文章于 2021-12-15 22:27:03 发布
阅读量909 收藏 2
点赞数
分类专栏： Spark Mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31622585/article/details/103385309
版权

需求场景如下:
上游mysql数据库每天经过sqoop导入hive中的分区表，在导入过程中sqoop偶尔会产生error等问题，导致下游数据与上游数据产生偏差，现在需要方法校验数据，以及对数据进行重跑，考虑过后决定使用重刷的方式进行处理

数据质量校验

1.先使用count进行数量上的校验，当上下游相同批次数据条数相同时则无需进行处理
2.当上下游数据量不同时 对下游数据进行重刷

数据重刷

spark通过读取上下游相同批次的两个数据集求full outer join来对比对应字段的null值
以下给出模拟数据集合

上游数据集A

id  
1   data1  .....
2   data2  .....
3   data3  .....
4</
最低0.47元/天 解锁文章
kaloKu
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop数据一致性校验和问题总结
qq_40239192的博客
04-13 1528
Sqoop数据一致性问题 1.mysql空值和hive空值符号不一样，通过加参数可以解决 2.mysql的\n \t 等 字符 与hive的保留字符冲突，通过加参数可以解决 3.sqoop底层是四个map，在导入mysql的时候，可能失败，通过加参数可以解决（相当于临时表+事务） 4.sqoop的数据倾斜问题，通过加参数可以解决（自定义均匀划分范围，让数据均匀分布） 5.mysql与hive字段不匹配问题，如精度不一致，数据类型不一致 如何校验数据一致性 1.行校验 1.1通过元数据 s
data-validator:验证围绕Apache Spark构建的数据的工具
05-06
数据验证器 验证HIVE表中数据的工具。 用法 组装脂肪罐： sbt clean assembly spark-submit --master local data-validator-assembly-0.10.0.jar --help data-validator v0.10.0 Usage: data-validator [options] --version --verbose Print additional debug output. --config <value> required validator config .yaml filename, prefix w/ 'classpath:' to load configuration from JVM classpath/resources, ex. '--co
基于spark的大数据提取校验框架
10-10 3136
针对数据提取中数据校验和错误定位、缺失值填充等通用问题，我开发了基于spark和python语言的数据提取校验框架wind-fe。 wind_fe数据提取框架将特征提取（数据提取）过程中自动化校验、缺失填充、调试、join产出、批量回溯、自动调度运行、自动添加分区表等通用环节抽象复用。基于这个框架，开发者可以用较少的开发成本获取到自动化校验过的特征数据，同时节约其他数据提取通用环节开发成本。该框架在自动化校验环节也保留扩展点，可以在一次数据校验任务中完成扩展校验，校验所需要的额外的资源消耗较少。该框架在我们
sqoop数据校验
weixin_30364147的博客
11-27 327
sqoop数据校验 #4 check data oracle_cnt=$(sqoop eval \ -Dmapred.job.queue.name=${queue} \ --connect ${connect} \ --username ${username} \ --password ${password} \ -e " select 'check_data '||count...
Sqoop增量导入验证（Lastmodified）
日进一步
06-23 3562
核心参数–check-column 用来指定一些列，这些列在增量导入时用来检查这些数据是否作为增量数据进行导入，和关系型数据库中的自增字段及时间戳类似. 注意:这些被指定的列的类型不能使任意字符类型，如char、varchar等类型都是不可以的，同时–check-column可以去指定多个列–incremental 用来指定增量导入的模式，两种模式分别为Append和Lastmodified–la...
基于Scala的Apache Spark大数据处理设计源码
03-28
Apache Spark 是一个强大的分布式计算框架，专为大数据处理而设计，其核心特性是高效的数据缓存和快速的数据处理。在本项目中，源码使用了Scala作为主要开发语言，同时也结合了Java和Python，展示了Spark的多语言...
基于Java的Spark数据处理示例设计源码
最新发布
04-18
本项目是基于Java的Spark数据处理示例设计源码，共包含157个文件，其中主要...项目旨在通过Java编程语言和Spark框架，展示如何使用Spark进行数据处理，提供一系列数据处理示例，帮助开发者理解和掌握Spark的使用方法。
基于Apache Spark的分布式数据处理设计源码
04-17
本项目是基于Apache Spark开发的分布式数据处理设计源码，主要使用Scala进行开发。项目共包含12518个文件，其中Scala源代码文件3515个，Q脚本文件1559个，Java源代码文件1120个，SQL文件368个，文本文件357个，...
spark数据处理sparkinmemorycluster
11-25
2. **In-Memory Computing**：传统的分布式计算框架如Hadoop主要依赖磁盘存储，而Spark则强调在内存中存储和处理数据，减少了磁盘I/O操作，从而提高了计算速度。这种方式特别适合需要多次读取数据的迭代算法。 3. *...
spark-atlas-connector:一个Spark Atlas连接器，用于跟踪Apache Atlas中的数据沿袭
05-26
Spark Atlas连接器 用于跟踪Spark SQL / DataFrame转换并将元数据更改推送到Apache Atlas的连接器。 此连接器支持跟踪： SQL DDL，例如“创建/删除/更改数据库”，“创建/删除/更改表”。 SQL DML，例如“ CREATE TABLE tbl AS SELECT”，“ INSERT INTO ...”，“ LOAD DATA [LOCAL] INPATH”，“ INSERT OVERWRITE [LOCAL] DIRECTORY”等。 具有输入和输出的DataFrame转换 机器学习管道。 该连接器将与Hive，HDFS等其他系统关联，以跟踪Atlas中数据的生命周期。 如何建造 要使用此连接器，您将需要最新版本的Spark（Spark 2.3+），因为大多数功能仅在Spark 2.3.0+中存在。 要构建此项目，请执行： mv
spark数据处理databrickssparkknowl
10-31
【Spark数据处理与Databricks】是大数据领域中的核心话题，尤其在现代企业数据分析和机器学习应用中占有举足轻重的地位。Spark是由Apache软件基金会维护的开源大数据处理框架，以其高效、易用和可扩展性赢得了业界的...
Sqoop的数据处理方法
白茶 清欢的博客
11-15 1105
1，Sqoop 基本命令介绍 1，帮助信息 sqoop help 2，查看具体某个命令的使用方式 sqoop help command 例如：sqoop help import 2，MySQL 数据准备 1，开启 MySQL service mysql start -2 ，查看 MySQL 的数据 Sqoop 数据导入 MySQL 数据导入 HDFS 1...
Sqoop生产数据倾斜问题验证
NC_NE的博客
12-15 3586
Sqoop数据倾斜
使用spark检查数据质量
ZhanYunQI的博客
11-23 2485
由于使用HIVE查询出来的报表数据会因为源数据的异常导致不可用，这个时候需要根据数据情况修改代码 ，下面是利用spark针对几个检查项，将检查结果插入到表中 # -*- coding: utf-8 -*- from pyspark import SparkContext from pyspark import HiveContext from pyspark.sql import
三种校验方法
热门推荐
jxm_96的博客
11-05 1万+
奇偶校验根据被传输的一组二进制代码的数位中“1”的个数是奇数或偶数来进行校验。采用奇数的称为奇校验，反之，称为偶校验。采用何种校验是事先规定好的。通常专门设置一个奇偶校验位，用它使这组代码中“1”的个数为奇数或偶数。若用奇校验，则当接收端收到这组代码时，校验“1”的个数是否为奇数，从而确定传输代码的正确性。 校验方法 奇校验：就是让原有数据序列中（包括你要加上的一位）1的个数为奇数 10001
Spark检查重复数据、未观测数据和异常数据
Poor - Because you have no ambition
02-13 3266
数据可以是重复数据、未观测数据和异常数据（离群值），可以有不存在的地址、错误的电话号码、区号，不准确的地理坐标、错误的日期，不正确的标签、大小写字母混乱、尾随空格以及许多其它更小的问题。数据工程师的工作就是清理数据，这样才能建立一个统计或者学习的机器学习的模型 检查重复数据、未观测数据和异常数据（离群值） 重复数据 重复数据是在数据集中出现在不同行，但是仔细检查后是相同的观测数据。 如果你的数据是...
spark海量数据去重策略
abc50319的专栏
05-17 9510
1.目标：尽可能在有限资源的情况下，利用尽量少的资源来达到更高效的效果。今天就给大家分享一个在DDT首页概览实时性能优化算法 – 海量数据高效去重算法。2.常规方法：采用spark sql方式去重3.创新方法：采用spark的分区排序去重算子去重算法。性能大幅度提升，从原来5min左右下降到30s以内（数据量10亿左右）采用spark sql方式和spark 算子分区排序去重算法对比：4.实验对比...
快速数据处理(安装、使用、测试)
12-03
在使用Spark进行数据处理时，用户可以根据具体的需求选择合适的数据处理方法和算法，以快速处理大规模的数据并获取准确的分析结果。最后，在测试Spark的数据处理和分析功能时，用户需要使用真实的网络直播APP行业...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值