hadoop 2.2.0 effective test

hadoop jar /opt/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar TestDFSIO -write -nrFiles 5 -fileSize 100

hadoop jar /opt/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar TestDFSIO -read -nrFiles 5 -fileSize 100

1. Slive Test (test rpc)

    测试前关闭：SecondaryNamenode，这样不会做image和edit

    ssh secondarynamenodeIP

./hadoop-daemon.sh stop secondarynamenode

-create <num> -delete <num> -rename <num> -read <num>  -append <num> -ls <num> -mkdir <num>
-blockSize <min,max> -readSize <min,max> -writeSize <min,max> -files <total>
-create 100 -delete 0 -rename 0 -read 0 -append 0 -ls 0 -mkdir 0 -blockSize 4096,4096 -files 10000
hadoop jar /opt/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar SliveTest -ops 10

maps	一共运行多少个mapper，默认值为10
ops	每个map跑多少个操作，默认值为1000
duration	每个map task的持续时间，默认值为MAX_INT，也就是无限制
exitOnError	遇到第一个Error是否要立即退出，默认不退出
files	最大生成文件数，默认为10
dirSize	每个文件夹最多允许生成多少个文件，默认为32
baseDir	SliveTest运行后默认存放的文件根目录，默认为“/test/slive”
resFile	结果文件名，默认为“part-0000”
replication	备份数，可设置最小，最大备份数，默认为3
blockSize	设置文件block大小，默认为64M（64*1048576）
readSize	读入大小可设置为最小值，最大值形式，例如“-readSize 100,1000”，默认无限制（min=max=MAX_LONG=read entire file）
writeSize	写入大小，最小，最大形式，默认等于blockSize（min=max=blocksize）
sleep	在不同次操作之间随机的插入sleep，这个参数用于定义sleep的时间范围，设置同样是最小，最大，单位是毫秒，默认为0）
appendSize	追加写大小，最小，最大形式，默认等于blockSize（min=max=blocksize）
seed	随机数种子
cleanup	执行完所有操作并报告之后，清理目录
queue	指定队列名，默认为“default”
packetSize	指定写入的包大小
ls	指定ls操作占总操作数的百分比
append	指定append操作占总操作数的百分比
create	指定create操作占总操作数的百分比
delete	指定delete操作占总操作数的百分比
mkdir	指定mkdir操作占总操作数的百分比
rename	指定rename操作占总操作数的百分比
read	指定read操作占总操作数的百分比

2. run nnbench as follows;

hadoop jar /opt/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar nnbench
-operation create_write  -maps 12 -reduces 6 -blockSize 1 -bytesToWrite 0 -numberOfFiles 1000  -replicationFactorPerFile 3 -readFileAfterOpen true  -baseDir benchmarks/NNBench