大数据基础-测试方法_大数据测试教程

大数据功能主要涉及系统实现面向大数据分析应用的POSIXAPI，包括文件读取与访问控制，元数据操作，锁操作等功能；大数据分析系统的POSIX语义不同，实现的文件系统API也不同，功能测试要覆盖到大数据系统涉及实现的API和功能点；功能测试工作量大，应该重点考虑应用自动化测试方法进行，同时结合手动测试补充，自动化工具推荐ltp,fstest和locktests。

在多个节点上处理大数据的过程中，存在由于‘无用数据’和数据质量问题带来的各种问题。大数据功能测试主要用以识别由于编码错误或节点配置错误带来的数据问题。

其包括以下几个阶段：

a、数据导入/预处理验证阶段

根据具体的应用背景和业务需求，各种数据源如网络日志，物联网，社会网络及互联网文本和文件等被按需加载到HDFS中待处理。在这个过程可能会由于不正确或不复制，存储而导致的错误数据，对于这种情况，可采用以下方式进行测试：

1. 输入文件与源文件进行比对，保证数据的一致性；

2. 根据数据需求来保证获取数据的准确性；

3. 验证文件被正确的加载进HDFS，且被分割，复制到不同的数据节点中。

b、MapReduce数据输出验证阶段

当数据加载进行HDFS后,mapreduce开始对来自不同数据源的数据进行处理。在这个过程中可能会出现mapreduce处理过程中的编码问题，如在单一节点上运行正确，在多个节点上运行不正确的问题，包括不正确的聚合，节点配置，输出格式等。针对于这个阶段的问题，可采用以下验证手段：

4. 验证梳理数据处理正常完成，输出文件正常得到；

5. 在单个节点上验证大数据的业务逻辑，进而在多节点上进行相同验证；

6. 验证mapreduce处理过程的key/value对是否正确生产；

7. 在reduce过程结束后验证数据的聚集合并是否正确；

8. 通过源文件验证输出数据来保证数据处理正确完成；

9. 按照大数据业务所需，验证输出数据文件格式是否符合要求。

c、验证大数据ETL到数据仓库

当mapreduce过程结束后，产生的数据输出文件讲被按需移至数据仓库或其它的事务型系统.在此过程中，可能会由于不正确地应用转换规则，从HDFS中提取的数据不完全而带来问题。针对于这个阶段的问题可采用以下方法：

10. 验证转换规则是否正确应用；

11. 通过比较目标表数据和HDFS文件数据来验证是否有数据损坏；

12. 验证目标系统数据加载是否成功；

13. 验证目标系统的数据完整性。

d、验证分析报告

从数据仓库或者hive中得到的数据，可通过报表工具得到分析报告；这个过程可能会产生报表定义不能达到要求的报表数据问题；在这个过程中可通过查询来验证报表是否满足业务要求。

二、非功能性测试

由于大数据面向具体行业的应用，除了功能性测试，在整个大数据处理框架下需要进行非功能性测试，以下几种;

a、性能测试

性能是评估一个大数据分析系统的最为关键的维度，大数据系统性能主要包括吞吐量，任务完工时间，内存利用率等多个指标，可反应大数据分析平台的处理能力，资源利用能力等性能。可通过hadoop性能监控器来监测运行状态性能指标和瓶颈问题，性能测试采用自动化化方式进行，测试系统在不同负载情况下的性能。

b、容错性测试

可从部分失效中自动恢复，而且不会验证的影响整体性能，特别地，当故障发生时，大数据分析系统应该在进行恢复的同时继续以可接受的方式进行操作，在发生错误时某种程度上可以继续操作，需根据应用场景来设计解决方案和具体部署，然后手动测试。

c、可用性测试

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！