ETL 快速入门指南
何为ETL
ETL 与 BI 的区别
ETL测试 与 数据库测试 的区别
ETL流程
ETL测试原理
ETL测试人员应具备的能力
ETL测试的计划应该具备什么内容
ETL测试过程可能面临的问题
ETL相关测试类型
ELT测试项目周期相关内容
测试用例设计
ETL 性能测试及其关键指标
如何建立一个有效的ETL测试
如何验证数据的精确性
如何验证元数据
如何验证数据转化
如何核对数据的质量
数据完整性校验
ETL自动化工具使用
何为ETL
E extract 提取;T transform 转换;L load 加载ETL 与 BI 的区别
1. 阶段上:ETL先BI后 2. 目的:ETL数据处理BI数据分析及可视化ETL测试 与 数据库测试 的区别
功能 | 数据库测试 | ELT测试 |
---|---|---|
首要目标 | 数据验证和整合 | BI报告的数据提取,转换和加载 |
适用系统 | 发生业务流的交易系统 | 包含历史数据且不在业务流程环境中的系统 |
常用工具 | QTP,Selenium | QuerySurge,Informatica等 |
业务需求 | 它用于集成来自多个应用程序的数据,影响严重 | 它用于分析报告,信息和预测 |
模型 | ER | 多维 |
数据库类型 | 通常在OLTP系统中使用 | 适用于OLAP系统 |
数据类型 | 具有更多联接的规范化数据 | 具有较少联接,更多索引和聚合的非规范化数据 |
ETL流程
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oGU47JSs-1584207304165)(media/15834615025650/15834623687107.jpg)]ETL测试原理
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SDjRm8Yt-1584207304166)(media/15834615025650/15834628032459.jpg)]Staging层:提取并存储数据
Data Integration层:转化并存储数据
Access层:处理数据生成相关信息
ETL测试人员应具备的能力
1. 理解需求:了解数据;了解数据模型 2. 数据检查: * 提取阶段:计数核对;核对记录伴随源数据;数据类型核对;过滤无效和重复数据;核对所有键到位 * 转换阶段:数据区间校验;转化前后计数核对;从缓存区到中间表的数据流校验;替代键校验 * 加载阶段:中间表到目标系统计数核对;确保键中的域值没有缺失;核对聚合值和计算量度是否被加载;确保模型视图基于目标表;核对CDC已经被应用到增量负载表;检验纬度表和历史表中的数据;核对BI报告基于实际负载和纬度表并符合所有预期结果 * 其他:整套系统的性能 3. 技能掌握:相关的ETL工具及其功能;相关的ETL数据仓库系统;测试计划和用例的设计;测相关测试文档的输出ETL测试的计划应该具备什么内容
1. 源数据和目标数据之间计数匹配验证 2. 源数据和目标数据之间数据验证,包括:数据集成,数据区间,重复数据 3. 源数据和目标数据之间数据映射或者数据转换测试,包括:检测目标系统功能性数据 4. 终端用户测试是对测试结果生成报告并检查是否符合预期,其中包括:寻求其中差距和交叉检测数据,一份合格的报告基于布局,数据和相关的统计数据 5. 回归测试是对问题的回归验证并指导报告最终符合要求 6. 集成测试是将所有单独业务系统合并之后验证是否存在数据偏差 7. 基于数据仓库系统架构的相关验证: * 新数据仓库测试,其中关注数据源和数据仓库的创建 * 数据迁移测试 * 数据变更测试ETL测试过程可能面临的问题
1. 数据层面:数据缺失,数据有误,数据重复,历史数据造成系统的复杂 2. 业务层面:数据查看权限获取困难,对数据所对应的业务流程不清楚,构建用例数量庞大复杂 3. 技术层面:需要掌握复杂的SQL原理,在可能没有映射信息情况下完成测试 4. 环境问题:不稳定的测试环境可能延迟开发和测试的处理ETL相关测试类型
1. 生产验证测试:生产环境验证数据和比对源数据 2. 源系统到目标系统记数核对测试:仅仅完成源数据和目标数据的计数比对 3. 源系统到目标系统数据核对测试:在目标系统验证转化之后的数据值和关联值 4. 数据集成/区间值测试:数据从多个源系统转换和加载完成后在目标系统验证集成数据和数据的区间 5. 应用迁移测试:比较新老系统间的数据一致性 6. 数据校验测试:数据类型校验,数据长度校验,数据索引校验,数据规则校验 7. 重复数据校验测试:是否定义主键,排查映射,排查环境,排查操作环节 8. 数据转换测试:通过SQL语句遍历表的每一行数据验证转换规则以及其结果与目标系统的数据进行比对 9. 数据质量测试:数值校验,日期校验,空值校验,精确值校验,无效字符串,大小写等 10. 增值测试:严重新增和更改同步结果的情况 11. 回归测试:为添加新功能改变转换和聚合规则而对此前的数据进行的检验 12. 复核测试:缺陷修复完成后的测试 13. 集成测试:将独立的系统合并后对其整体进行测试 14. 前端测试:对前端所有部分进行验证,包括值域,计算和汇总 15. 数据备份恢复测试:模拟系统在及其恶劣的情况下能由备份系统来接管并保证数据不丢失,以便系统恢复后可以还原ELT测试项目周期相关内容
1. 理解和确认需求 2. 评估测试所需时间 3. 根据需求纬度输出测试计划 4. 根据场景输出测试用例 5. 完成用例评审并进行准备工作 6. 执行用例 7. 输出结论和相关报告测试用例设计
用例场景 | 用例说明 |
---|---|
数据结构 | 主要验证源和目标数据的类型,长度,格式,列名是否正确 |
验证映射文档 | 涉及变更日志,维护数据类型、长度、转换规则等 |
验证限制条件 | 确认所有限制条件被正确的使用在预期的表中 |
数据一致性校验 | 检验是否滥用约束条件、长度,数据类型相关的属性 |
数据完整性校验 | 检验数据加载情况,记录计数情况,边界值,主键唯一性 |
数据正确性校验 | 检验数据的值,拼写,精确值,空值,非唯一性 |
数据转换校验 | 验证入参是否有预期的结果,是否父子关系数据是否被建立,数值范围是否符合要求,数据类型是否符合数据模型 |
数据质量校验 | 数值校验,日期校验,精确值校验,空置校验等 |
空值校验 | 检验空值和非空提示 |
重复值校验 | 验证主键和其他列是否存在重复 |
日期值校验 | 有效时间校验,时间格式校验,脏数据和空值校验 |
数据完整性校验 | 差集无匹配,交集计数匹配独立源,差集无匹配交集计数少于独立源计数表有重复数据 |
其他场景 | 校验源源系统未提取重复数据,这过程需要维护一系列SQL语句 |
数据清楚 | 移除从加载到中间层的无用数据 |
ETL 性能测试及其关键指标
性能测试步骤如下: 1. 找出生产上被转换的数据 2. 创建或者转移生产数据到本地服务 3. 增加负载直到ETL无效 4. 针对检测的数据在数据库表格中进行计数 5. 记录ETL有效状态下所能承受的最大负载量关键性能指标:
- 有效承受负载的时间
- 过程中确认性能时间是提升还是降低
- 核对所有预期负载是否被提取和转换