最全大数据测试 - 数仓测试_数据仓库测试(1)，2024年最新作为大数据开发程序员应该怎样去规划自己的学习路线

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

–空值判断
SELECT sku_id,sku_name
FROM xxx.ads_xxx_sku
WHERE pt = ‘20221211’
and (sku_id IS NULL OR sku_name IS NULL)
;

判断是否为空

select sku_id,sku_name
from xxx.ads_xxx_sku
where pt=‘20221211’
and (sku_id=“” or sku_name=“”)

负值判断

select price
from xxx.ads_xxx_sku
where pt=‘20221211’

枚举判断

SELECT distinct(sku_name)
FROM from xxx.ads_xxx_sku
WHERE pt = ‘20221211’
；

**2.白盒测试**


需要对开发的代码走读，check 指标处理逻辑。同时测试也需要准备验证脚本，或者查找到可以作为验证参考的数据，便于口径核对，这个环节，对测试人员的指标口径沉淀有一定的要求。在发现指标数据存在差异的情况，需要协助开发人员一起定位差异原因，时常需要在现有的口径基础上，在数仓空间往上翻多层，或者一个指标定义不够清晰，需要自行去数分空间查找口径定义。另外，在测试通过后，需要编写相应的 DQC 脚本，及时监控生产数据质量。这些对测试来说，需要有一定的 sql 功底；


* 字段长度、最大最小值、异常值、边界等
* 计算单位是否统一
* 常见函数，比如 dateadd 等日期函数的时间偏差
* 查看调度配置是否缺少依赖


关于以上情况举下一些实际案例


使用的是 DATEADD 函数，统计近 6 天数据，需往前推 5 天，对应的前置条件应调整为 ‘-5’

BETWEEN TO_CHAR(DATEADD(TO_DATE(‘${bizdate}’,‘yyyyMMdd’), -6,‘dd’),‘yyyyMMdd’)

字段未做默认处理，数值字段一般默认为 0，字符串默认为 ‘’；

nvl(t22.spu_bid_cnt_30d,0) as spu_bid_cnt_30d – 近30天_出价spu数
,nvl(t17.spu_cnt_td,0) as spu_cnt_td – 当天动销商品数
,nvl(t22.spu_inv_num_7d,0) as spu_inv_num_7d – 近七天_在售商品数
,t22.spu_inv_num_30d as spu_inv_num_30d – 近30天_在售商品数

### 常用的测试方法


**DQC 校验**


在日常测试时，常会遇到一种迁移任务和重构任务，此类任务对于原先的指标和口径几乎是没有任何差别，这个时候 DQC 校验可以方便快捷的来解决


通常使用的方法如下：

SELECT t1.xxx_id AS xxid
,t1.xxx_month AS xx统计时间
,t1.xxx_rate AS xx率
,t2.xxx_rate AS 旧xx率
FROM (
SELECT xxx_id
,xxx_month
,xxx_rate
FROM newtalbe
WHERE pt = ‘20221011’
) t1 inner JOIN (
SELECT xxx_id
,xxx_time
,xxx_rate
FROM oldtable
WHERE pt = ‘20221011’
) t2
ON t1.xxx_id = t2.xxx_id
AND t1.xxx_month = t2.xxx_time
where t1.xxxx_rate <> t2.xxxx_rate

**血缘横向对比**


测试过程中往往会发现数据对不上或者枚举不对的情况，为了进一步排查我们就需要通过血缘关系，来了解我们字段的来源是否错误。


![图片](https://img-blog.csdnimg.cn/1092198b7dc54108bb1804fa77ab7320.png)


比如以上表如果商家订单表中的内容有错误，可以通过 sql 先查看字段的来源，然后通过血缘关系来看表中的字段是否有问题，对问题根因逐个进行排查


### 设置质量监控


在上线时，我们回对重要的表进行监控，为了就是保证数据质量的完整性、一致性、及时性和准确性


完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段信息的缺失，两者都会造成统计结果不准确。完整性是数据质量最基础的保障。


准确性是指数据中记录的信息和数据是否准确、是否存在异常或者错误的信息。例如，订单中出现错误的买家信息等，这些数据都是问题数据。确保记录的准确性也是保证数据质量必不可少的一部分。


一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。例如，从在线业务库加工到数据仓库，再到各个数据应用节点，用户 ID 必须保持同一种类型，且长度也要保持一致。


及时性保障数据的及时产出才能体现数据的价值。例如，决策分析师通常希望当天就可以看到前一天的数据。若等待时间过长，数据失去了及时性的价值，数据分析工作将失去意义。


总结


以上是我对数仓测试的一些小心得，也希望能够让大家了解数据测试，如果有什么不对或者建议请留言。


**最后：** 下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取 **`【保证100%免费】`**


![在这里插入图片描述](https://img-blog.csdnimg.cn/ccf33902a38d41c9a2b4fbb6cfce494d.png#pic_center)


### 软件测试面试文档


![img](https://img-blog.csdnimg.cn/img_convert/7aba195479235701810cefd0d7b25b26.png)
![img](https://img-blog.csdnimg.cn/img_convert/5942346acdec2eed32fc9cdf332c08df.png)
![img](https://img-blog.csdnimg.cn/img_convert/d921de9360a51d7611d0c428181659db.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**