henni_719的专栏

如果对测试比较感兴趣的可以加QQ群:320542475!本人从事过自动化测试、性能测试、接口测试、app与web自动化测试、集成测试和python脚本开发,目前在喜马拉雅FM从事数据测试!...

大数据测试类型&大数据测试步骤

什么是大数据?

         大数据是一个大的数据集合,通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析,而且它在数量、多样性、速度方法都很出色。

大数据测试类型

         测试大数据应用程序更多的是验证其数据处理,而不是测试软件产品的个别功能。当涉及到大数据测试时,性能和功能测试是关键。

         在大数据测试中,QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快,所以它需要高水平的测试技能。处理可以是三种类型:批量、实时、交互。

        

         与此同时,数据质量也是大数据测试的一个重要因素。在测试应用程序之前,有必要检查数据的质量,并将其视为数据库测试的一部分。它涉及检查各种字段,如一致性,准确性,重复,一致性,有效性,数据完整性等。

大数据测试步骤

         下图给出了测试大数据应用程序阶段的高级概述:

          

         大数据测试实现被分成三个步。

Step 1:数据阶段验证

         大数据测试的第一步,也称作pre-hadoop阶段该过程包括如下验证:

Ø  来自各方面的数据资源应该被验证,来确保正确的数据被加载进系统

Ø  将源数据与推送到Hadoop系统中的数据进行比较,以确保它们匹配

Ø  验证正确的数据被提取并被加载到HDFS正确的位置

         该阶段可以使用工具Talend或Datameer,进行数据阶段验证。

Step 2:"MapReduce"验证

         大数据测试的第二步是MapReduce的验证。在这个阶段,测试者在每个节点上进行业务逻辑验证,然后在运行多个节点后验证它们,确保如下操作的正确性:

Ø  Map与Reduce进程正常工作

Ø  在数据上实施数据聚合或隔离规则

Ø  生成键值对

Ø  在执行Map和Reduce进程后验证数据

Step 3:输出阶段验证

         大数据测试的最后或第三阶段是输出验证过程。生成输出数据文件,同时把文件移到一个EDW(Enterprise Data Warehouse:企业数据仓库)中或着把文件移动到任何其他基于需求的系统中。在第三阶段的活动包括:

Ø  检查转换(Transformation)规则被正确应用

Ø  检查数据完整性和成功的数据加载到目标系统中

Ø  通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏




原网站链接:http://www.guru99.com/big-data-testing-functional-performance.html#1

阅读更多
个人分类: 大数据
想对作者说点什么? 我来说一句

测试

cshi

学院

2017年06月19日 09:12

大数据测试简述

2017年02月07日 521KB 下载

大数据测试工具箱-FlytestingToolkit

2017年06月12日 113KB 下载

大数据基准测试流程与测试工具

2016年01月26日 2.4MB 下载

大数据测试用例

2017年08月30日 35KB 下载

没有更多推荐了,返回首页

不良信息举报

大数据测试类型&大数据测试步骤

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭