Hadoop 自带的测试程序在{Hadoop安装目录}/share/hadoop/mapreduce/hadoop-mapreduce-examples-{hadoop版本}.jar
1.terasort测试程序
- 使用teragen,生成测试数据
- 对生成的数据进行terasort
- 使用teravalidate对结果进行检查
1.teragen:
hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-example-2.7.3.jar teragen <num rows> <output dir>
teragen生成的数据每一行的格式如下:<10 bytes key> <10 bytes rowid> <78 bytes filler>\r\n