使用场景复杂,测试用例覆盖范围和实测要增强。
正文开始
1.什么是大数据
大数据是一个大的数据集合,通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析,而且它在数量、多样性、速度方法都很出色,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
图片
2.大数据测试类型
测试大数据应用程序更多的是验证其数据处理,而不是测试软件产品的个别功能。当涉及到大数据测试时,性能和功能测试是关键。
处理可以是三种类型:批量、实时、交互
在测试应用程序之前,有必要检查数据的质量,并将其视为数据库测试的一部分。它涉及检查各种字段,如一致性,准确性,重复,一致性,有效性,数据完整性等。
3.测试步骤
图片
步骤一:数据预处理验证
在进行大数据测试时,首先要预hadoop前验证数据的准确性等等。
我们数据来源可能是关系数据库、日志系统、社交网络等等,所有我们应该确保数据能正确的加载到系统中,我们要验证:
① 加载的数据和源数据是一致的
② 确保正确的提取和加载数据至hdfs中
步骤二:Map Reduce验证
在进行大数据测试时,第二个关键步骤是“Map Reduce”验证。在本阶段,我们主要验证每一个处理节点的业务逻辑是否正确,并验证在多个运行后,确保:
① Map Reduce过程工作正常
② 数据聚合、分离规则已经实现
③ 数据key-value关系已正确生成
④ 验证经过map reduce后数据的准确性等特性
步骤三:结果验证
在本阶段主要验证在经过大数据工具/框架处理后,生成的最终数据的成果。
检查转换(Transformation)规则被正确应用
检查数据完整性和成功的数据加载到目标系统中
4.性能测试
查看更多请点击链接转至微信公众号:大数据测试针对性的测试策略