mapReduce程序性能调优和工作流程

目录（主要将书中的截图便于自己查看）

        系统参数的配置

         性能调优

         mapreduce工作流程

 

         Hadoop API功能模块定义。

       

 

       性能调优

      1）输入的文件尽量采用大文件，避免使用小文件，因为一个文件就会对应一个map任务，文件太多就会生成许多小文件，影响mapreduce的性能。如果对小文件进行合并也可以借用hadoop中的CombineFileInput-Format.他可以将多个文件打包到一个输入单元，从而每次的map操作就会处理更多的数据。同时CombineFileInput-Format 会考虑节点和集群的位置信息，以决定哪些文件被打包到一个单元中，所以使用CombineFileInput-Format也会使性能得到相应的提高。

 mapreduce工作流程