Hadoop 集群的基准测试

集群搭建完毕之后，需要对集群进行基准测试

     第一方面：基本测试

            服务启动，是否可用，简单的应用  

           *hdfs

                 读写操作

                 bin/hdfs dfs -mkdir - p /user/chris/tmp/conf

                 bin/hdfs dfs -put etc/hadoop/xxx.xml /user /chris/tmp/conf

                bin/hdfs dfs -text /user /chris/tmp/conf

           *yarn

               run jarn

            *mapreduce

               bin/jar jar share/hadoop/mapreduce/hadoop*example*.jar wordcount /user/chris/mapreduce/wordcount/input /user/chris/mapreduce/wordcount/output

             可以多弄几个mapreduce 跑

    第二方面：基准测试

             测试集群的性能

            *hdfs

                 写数据

                 读数据

            *多弄一些小文件，测试namenode

            *测试yarn,测网络传输

            *测试mapreduce

     第三方面：监控集群

           cloudera manager(第三方软件)

                  部署安装集群

                  监控集群

                  配置同步集群

                  预警

 

转载于:https://www.cnblogs.com/pickKnow/p/10820128.html