最全大数据测试 - 数仓测试_数据仓库测试

2301_79988566

于 2024-05-04 16:57:15 发布

阅读量368

点赞数 3

分类专栏：程序员文章标签：数据仓库

本文链接：https://blog.csdn.net/2301_79988566/article/details/138445165

版权

程序员专栏收录该内容

184 篇文章 1 订阅

订阅专栏

DWS：又称数据集市或宽表。按照业务划分,比如订单，用户，商家，商品等，基于各个主题在加工和使用，进行轻度汇总,如统计各个主题 7 天，30 天，90 天的行为，用户购买行为，商品动销行为等，在 DWD 基础上关联 DIM 维度数据汇总，用于提供后续的业务查询，OLAP 分析等；

ADS：要是提供给数据产品和数据分析使用的数据，一般会存放在 ES、ClickHouse、Redis 等系统中供线上系统使用，也可能会存在 Hive 或者 Druid 中供数据分析和数据挖掘使用,一般在 DWS 基础上生成指标,主题宽表,主要用于具体的业务服务；

TEMP：每一层的计算都会有很多临时表，专设一个 temp 层来存储我们数据仓库的临时表。

数仓测试

数仓测试其实和其他域的测试一样都有需求评审，预发环境测试回归和上生产的步骤。

不同的是数仓测试的时候需要确定的口径。举个例子：淘宝商家半年内的销售情况，看到这个口径会认为只要值对了就可以了，其实不是，需要考虑这个商家的类别（统计企业的商家还是个人商家），商家的状态（注销，正常）等。

数据的类型测试

1.黑盒测试

所谓黑盒的数据测试就是已数据结果为准对数据进行校验需要测试的有：

检查表结构是否与设计文档一致
主键是否唯一
字段非空非 null 判断
非正常值判断
枚举准确性
如果是关于金额类型的是否有负数
数据是否有效合理

关于以上校验的一些 sql 样例

唯一性

--sku唯一，无重复记录
SELECT  sku_id
        ,count(1)
FROM    xxx.ads_xxx_sku
WHERE   pt = '20221211'
GROUP BY sku_id
HAVING  count(1) > 1
;

判断为 null

--空值判断
SELECT  sku_id,sku_name 
FROM     xxx.ads_xxx_sku
WHERE   pt = '20221211'
and     (sku_id IS NULL OR  sku_name IS NULL)
;

判断是否为空

select sku_id,sku_name
from xxx.ads_xxx_sku
where pt='20221211'
and (sku_id="" or sku_name="")

负值判断

select price
from xxx.ads_xxx_sku
where pt='20221211'

枚举判断

SELECT  distinct(sku_name)
FROM    from xxx.ads_xxx_sku
WHERE   pt = '20221211' 
；

2.白盒测试

需要对开发的代码走读，check 指标处理逻辑。同时测试也需要准备验证脚本，或者查找到可以作为验证参考的数据，便于口径核对，这个环节，对测试人员的指标口径沉淀有一定的要求。在发现指标数据存在差异的情况，需要协助开发人员一起定位差异原因，时常需要在现有的口径基础上，在数仓空间往上翻多层，或者一个指标定义不够清晰，需要自行去数分空间查找口径定义。另外，在测试通过后，需要编写相应的 DQC 脚本，及时监控生产数据质量。这些对测试来说，需要有一定的 sql 功底；

字段长度、最大最小值、异常值、边界等
计算单位是否统一
常见函数，比如 dateadd 等日期函数的时间偏差
查看调度配置是否缺少依赖

关于以上情况举下一些实际案例

使用的是 DATEADD 函数，统计近 6 天数据，需往前推 5 天，对应的前置条件应调整为 ‘-5’

BETWEEN TO_CHAR(DATEADD(TO_DATE('${bizdate}','yyyyMMdd'), -6,'dd'),'yyyyMMdd')

字段未做默认处理，数值字段一般默认为 0，字符串默认为 ‘’；

nvl(t22.spu_bid_cnt_30d,0)             as  spu_bid_cnt_30d    -- 近30天_出价spu数
    ,nvl(t17.spu_cnt_td,0)                  as  spu_cnt_td         -- 当天动销商品数
    ,nvl(t22.spu_inv_num_7d,0)              as  spu_inv_num_7d     -- 近七天_在售商品数
    ,t22.spu_inv_num_30d                    as  spu_inv_num_30d    -- 近30天_在售商品数

常用的测试方法

DQC 校验

在日常测试时，常会遇到一种迁移任务和重构任务，此类任务对于原先的指标和口径几乎是没有任何差别，这个时候 DQC 校验可以方便快捷的来解决

通常使用的方法如下：

SELECT  t1.xxx_id AS xxid
        ,t1.xxx_month AS xx统计时间
        ,t1.xxx_rate AS xx率
        ,t2.xxx_rate AS 旧xx率


![img](https://img-blog.csdnimg.cn/img_convert/4d3df34764fdac068dc97d48156278a8.png)
![img](https://img-blog.csdnimg.cn/img_convert/85272c8367d3fd7b6d3d3b438b6d2803.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**