数据倾斜以及本地模式的介绍

一：数据倾斜

Map数
            1）通常情况下，作业会通过input的目录产生一个或者多个map任务。
            主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小。
            2）是不是map数越多越好？
            答案是否定的。如果一个任务有很多小文件（远远小于块大小128m），则每个小文件也会被当做一个块，
            用一个map任务来完成，而一个map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。
            而且，同时可执行的map数是受限的。
            3）是不是保证每个map处理接近128m的文件块，就高枕无忧了？
            答案也是不一定。比如有一个127m的文件，正常会用一个map去完成，但这个文件只有一个或者两个小字段，
            却有几千万的记录，如果map处理的逻辑比较复杂，用一个map任务去做，肯定也比较耗时。
            针对上面的问题2和3，我们需要采取两种方式来解决：即减少map数和增加map数；
        小文件进行合并
            在map执行前合并小文件，减少map数：CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。
            HiveInputFormat没有对小文件合并功能。
            set hive.input.format&