大数据测试策略

作为一名开发，可能会被问到大数据测试类相关的知识。虽然可能性不大，但是楼主就被问到了一次，当时那个尴尬呀

大数据处理的三个特性：
大批量
实时性
可交互
另外，数据质量也同样是大数据测试的一个重要维度。

因此在进行应用程序测试之前，必须确保数据质量，并且考虑把数据质量作为数据库测试的一部分。涉及数据的各种特性的检验，例如一致性、准确性、重复性、连贯性、有效性及完整性等等。

大数据测试大体可以分为三大步骤：

步骤一，数据预处理验证
在进行大数据测试时，首先要预hadoop前验证数据的准确性等等。

我们数据来源可能是关系数据库、日志系统、社交我那个落等等，所有我们应该确保数据能正确的加载到系统中

我们要验证加载的数据和源数据是一致的

我们要确保正确的提取和加载数据至hdfs中

**步骤二，Map Reduce验证 在进行大数据测试时，第二个关键步骤是“Map Reduce”验证。**在本阶段，我们主要验证每一个处理节点的业务逻辑是否正确，并验证在多个运行后，确保：

Map Reduce过程工作正常

数据聚合、分离规则已经实现

数据key-value关系已正确生成

验证经过map reduce后数据的准确性等特性

步骤三，结果验证 在本阶段主要验证在经过大数据工具/框架处理后，生成的最终数据的成果。

主要验证：

验证数据转换规则是否正确应用

验证数据的完整性和是否成功持久化到目标系统

验证无数据损坏

性能测试

大数据性能测试主要包含以下几个部分：

数据提取、存储效率

在本阶段，我们主要验证大数据应用从源数据中提取、加载数据的效率。

一是验证单位时间内数据的提取、加 载效率。

二是验证数据持久化至mongodb等库的效率等等

原文链接 https://www.cnblogs.com/crstyl/articles/7277550.html