大数据比对测试

近期在工作中,遇到的数据比对的工作较多,整理一下相关的内容

大数据比对思路:

从工作当中遇到的情况来说,有如下几种比对的情况

  • 上下游数据比对

比如上游数据存储为某个.dat文件,下游数据为多个拆分后的多个文件。
将上游数据进行解析,并且将下游数据进行解析,最终转化成同一格式,相同字段,进行对比

  • 前后端数据对比

后端数据,通过SQL语句查询,导出为csv或者txt文件
前端页面数据通过爬虫,接口请求,xpath等方式,抓取并且写入txt文件

  • 多环境数据比对

比如多个数据中心之间的对比,将最终落地的数据进行对比
比如灰度环境及正式环境数据对比,前提是数据是一致的情况下

  • 多格式数据对比
    如果某公司有多种内部协议,生成的数据是多种格式,最终可以将多种数据的格式统一转换成一种格式及字段,并进行数据对比。

  • 多个版本之间对比
    通过V3.2.1与V3.2.2之间的版本,生产数据,做相应的对比

对比工具

数据对比工具Beyond Compare

适用于2个对比文件,列都相同的情况

Python字典对比

如:
{
“1”:“数据1”
“2”:“数据2”

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

顾垌杰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值