城商行数据仓库数据测试总结：方法、流程、策略和常见问题

【导读】本文分享了某城商行数据仓库数据测试的经验，总结了测试目标、测试方法、大体流程、测试策略及常见问题，对于同行进行相关项目实施很有参考价值。

一、需求理解

数据仓库系统是为决策制定过程提供支持的所有类型数据的战略集合，是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合。它接入全行所有外围系统数据，是一个具有全行业务视图，面向各种管理系统的统一应用数据平台。

启动数据仓库新一期建设，主要完成进一步完善数据范围，丰富汇总及指标数据，改进基于指标数据的报表开发方式，优化调度、数据加工及报表处理应用架构，实现多级存储备份策略，构建应用数据集市等内容。

二、测试目标

• 检测数据正确性测试：验证数据服务层内各区的加载正确性。

• 检测后台各 ETL 脚本的各项技术指标是否符合要求。

• 检测各数据层间的接口正确，数据能正常流转传递。

• 检查系统上线初始化、建表及导数语句正确性。

• 检查系统调度依赖关系配置是否正确。

• 检查流程调度测试，检测 ETL 任务触发依赖关系的正确性。

数据流架构

源数据层 -> ods层 -> 基础层 -> 中间层 -> 应用层 -> 集市层

三、测试方法

ETL 脚本测试

1.主键重复检查

检查目标表记录中是否有主键字段出现重复的现象。

2.主索引分布均匀程度