Yarn-HDFS读写测试

HDFS读写测试

1.hdfs写测试

yarn jar /usr/local/service/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.8.5.jar  TestDFSIO -write -nrFiles 10 -size 100MB

参数说明：
-write：测试写入
-nrFiles 10：写入10个文件
-size 10MB ：每个文件10MB
–查看生成的测试数据
hdfs dfs -ls /benchmarks/TestDFSIO/io_data

2.hdfs读测试

yarn jar /usr/local/service/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.8.5.jar  TestDFSIO -read -nrFiles 10 -size 1MB