hadoop 负载均衡

        hadoop 将MR的输入数据划分成等长的小数据块，称为输入分片，hadoop为每个分片构建一个map任务。拥有许多分片，意味着处理每个分片所需要的时间少于处理整个输入数据所花的时间。因此，如果我们并行处理每个分片，切每个分片数据比较小，那么整个处理过程将获得更好的负载均衡，因为一台较快的计算机能够处理的数据分片比一台较慢的计算机更多，且成一定的比例。即使使用相同的机器，处理失败的作业或其他同时运行的作业也能够实现负载均衡，并且如果分片被切分得更细，负载均衡的质量会更好。

         另一方面，如果分片切分的太小，那么管理分片的总时间和构建map任务的总时间将决定着作业的整个执行时间。