大数据测试实现的三步走

Step 1：数据阶段验证

在进行大数据测试时，首先要预hadoop前验证数据的准确性等等。

1、来自各方面的数据资源应该被验证(如：关系数据库、日志系统、社交等等)，来确保正确的数据被加载进系统

2、将源数据与推送到Hadoop系统中的数据进行比较，以确保加载数据与原数据一致

3、验证正确的数据被提取并被加载到HDFS正确的位置

该阶段可以使用工具Talend或Datameer，进行数据阶段验证。

Step 2："MapReduce"验证

大数据测试的第二步是MapReduce的验证。在这个阶段，测试者在每个节点上进行业务逻辑验证，然后在运行多个节点后验证它们，确保如下操作的正确性：

1、Map与Reduce进程正常工作

2、在数据上实施数据聚合或隔离规则实现

3、数据key-value键值对关系已正确生成

4、在执行Map和Reduce进程后验证数据

大数据测试的最后或第三阶段是输出验证过程。生成输出数据文件，同时把文件移到一个EDW(Enterprise Data Warehouse:企业数据仓库)中或着把文件移动到任何其他基于需求的系统中。在第三阶段的活动包括：

1、检查数据转换(Transformation)规则被正确应用

2、检查数据完整性和成功的数据加载到目标系统中

3、通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏

最后：下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取【保证100%免费】

整套资料获取