测试Hadoop上传下载性能

测试Hadoop上传下载性能

建好hadoop之后需要面对的问题:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-u1uktqWA-1601802082816)(E:\BigData\学习笔记\Typora\数仓项目\src\装好hadoop之后需要面临的问题.png)]

问题:

1. 1t的数据需要上传多久
2. 1t的数据需要下载多久
3. 100t的数据,执行mr需要多久
4. 机器能够抗住多少数据量

测试HDFS写性能
测试内容：向HDFS集群写10个128M的文件 cpu核数-1

[atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 7 -fileSize 128MB

测试HDFS读性能

测试内容：读取HDFS集群10个128M