2024年大数据基础-测试方法_大数据测试教程

b、MapReduce数据输出验证阶段

当数据加载进行HDFS后,mapreduce开始对来自不同数据源的数据进行处理。在这个过程中可能会出现mapreduce处理过程中的编码问题，如在单一节点上运行正确，在多个节点上运行不正确的问题，包括不正确的聚合，节点配置，输出格式等。针对于这个阶段的问题，可采用以下验证手段：

4. 验证梳理数据处理正常完成，输出文件正常得到；

5. 在单个节点上验证大数据的业务逻辑，进而在多节点上进行相同验证；

6. 验证mapreduce处理过程的key/value对是否正确生产；

7. 在reduce过程结束后验证数据的聚集合并是否正确；

8. 通过源文件验证输出数据来保证数据处理正确完成；

9. 按照大数据业务所需，验证输出数据文件格式是否符合要求。

c、验证大数据ETL到数据仓库

当mapreduce过程结束后，产生的数据输出文件讲被按需移至数据仓库或其它的事务型系统.在此过程中，可能会由于不正确地应用转换规则，从HDFS中提取的数据不完全而带来问题。针对于这个阶段的问题可采用以下方法：

10. 验证转换规则是否正确应用；

11. 通过比较目标表数据和HDFS文件数据来验证是否有数据损坏；

12. 验证目标系统数据加载是否成功；

13. 验证目标系统的数据完整性。

d、验证分析报告

从数据仓库或者hive中得到的数据，可通过报表工具得到分析报告；这个过程可能会产生报表