本文详细介绍了大数据测试的关键点，包括功能性测试和非功能性测试。功能性测试涵盖数据导入验证、MapReduce输出验证、ETL到数据仓库的验证以及分析报告的验证。非功能性测试涉及性能、容错性、可用性、扩展性、稳定性、部署方式、数据一致性和压力测试。测试方法结合自动化与手动，确保大数据系统的准确、高效和稳定运行。
一.功能性测试
大数据功能主要涉及系统实现面向大数据分析应用的POSIXAPI，包括文件读取与访问控制，元数据操作，锁操作等功能；
大数据分析系统的POSIX语义不同，实现的文件系统API也不同，功能测试要覆盖到大数据系统涉及实现的API和功能点；
功能测试工作量大，应该重点考虑应用自动化测试方法进行，同时结合手动测试补充，自动化工具推荐ltp,fstest和locktests。
在多个节点上处理大数据的过程中，存在由于‘无用数据’和数据质量问题带来的各种问题。功能测试主要用以识别由于编码错误或节点配置错误带来的数据问题。
其包括以下几个阶段：
a.数据导入/预处理验证阶段
根据具体的应用背景和业务需求，各种数据源如网络日志，物联网，社会网络及互联网文本和文件等被按需加载到HDFS中待处理。在这个过程可能会由于不正确或不复制，存储而导致的错误数据，对于这种情况，可采用以下方式进行测试：
1.输入文件与源文件进行比对，保证数据的一致性；
最低0.47元/天 解锁文章
扫一扫
7189
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
