大数据 | Hadoop性能测试

一、Hadoop 集群启动

进入$HADOOP_HOME，依次启动HDFS、YARN、JobHistory

$ cd $HADOOP_HOME
$ ./sbin/start-dfs.sh
$ ./sbin/start-yarn.sh
$ mapred --daemon start historyserver

二、Hadoop 性能测试

1. 写数据

测试写性能：
向HDFS写5个128M的文件，其中5根据集群的规模来测试，集群同时能跑多少个map task

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 5 -fileSize 128MB

执行日志中显示执行时间：