2024年大数据最全[大数据测试]ETL测试或数据仓库测试入门_etl上线压力测试

• 将转换后的数据载入数据仓库
• 构建聚集：创建聚集对数据进行汇总并存储数据至表中，以改进终端用户的查询体验。

什么是ETL测试

ETL测试是为了确保从源到目的地数据经过业务转换完成后是准确的。

同时它还涉及数据的验证，即从源到目的地数据各个不同阶段验证数据。

ETL是Extract-Transform-Load的缩写。

ETL测试过程

与其他测试过程类似，ETL也需要经历不同的测试阶段。其流程如下：

ETLTestingProcess.png

ETL测试过程主要分为以下五大阶段：

1. 分析需求、业务和源数据
2. 获取数据
3. 实现业务逻辑和维度建模
4. 构建和填充数据
5. 生成报告

ETL测试类型

1. Production Validation Testing
   该类型的ETL测试是在数据迁移至生产系统时进行的。为了保证生产业务的正常运营，生产系统中的数据必须以正确的顺序进行排序。在该ETL测试类型中要注意从数据层面进行自动化测试和管理能力的植入。
2. Source to Target Testing（Validation Testing）
   该类型的测试主要元组转换的数据是否满足预期的转换目标
3. Application Upgrades(升级测试)
   该类型的ETL测试是可以自动生成的，能节省大量的测试开发时间。主要检查旧应用或存储库中提取的数据是否与新的应用或新的存储库中的数据完全相同。
4. Metadata testing（元数据测试）
   元数据测试包括数据类型检查、数据长度和索引/约束检查。
5. Data Completeness Testing