大数据的特征:
大数据测试的挑战:
处理流程的5个阶段:
大数据测试——功能性测试方法:
大数据测试——非功能性测试方法:
大数据测试——针对“4V”特性的测试:
大数据测试基准:
Sleep:命令行程序是批处理延时用的,占用资源少。Sleep基准可以用来比较核调度和MapReduce处理的有效性,在Hadoop World 2011上被提出来,可以测试分配任务到网络平台的速度;
TeraSort :测试Hadoop的一个有效的排序测试。通过Hadoop自带的TeraSort 排序程序,测试不同的map任务和reduce任务数量对Hadoop性能的影响。实验数据由程序中的TeraGen程序生成,数据量为1GB和10GB。一个完整的TeraSort 测试需要按以下三步执行:用TeraGen 生成随机数据;对输入数据运行TeraSort; 用TeraValidate 验证排好序的输出数据;
大数据测试常用工具:
LTP( Linux test project)
Locktests
IOzone
Postmark
Fio
Filebench
Hibench:https://github.com/Intel-bigdata/HiBench
BigDataBench:http://prof.ict.ac.cn/
YCSB:https://github.com/brianfrankcooper/YCSB
Gridmix:http://hadoop.apache.org/docs/current/hadoop-gridmix/GridMix.html
Spark-Bench:https://codait.github.io/spark-bench/