day004

1.Mapreduce的分区和reducetask的数量

    1.分区：将相同的数据按照一定规则发送到同一个reduce中进行数据的处理。

            原则：物理类聚 人以群分



    2.reducetask的数量：

        1个reducetask最终对应1个生成的文件

        默认情况下，只有一个reducetask

    3.hashpartitioner

        (key.hashCode&Integer.maxValue)  %numReduceTask

            (13777xxxxx     &Integer.maxValue)  %   2

        (key.hashCode() & 2147483647) % numReduceTasks;

2.mapreduce 的排序和序列化

mapreduce使用自己的序列方式：

    使用Writable接口完成序列化操作，mr的序列化是轻量级的数据化

    实现Writable接口，就可以完成一个对象的序列化

    如果既想序列化，又想进行排序，需要实现接口 WritableCompareable

    默认情况下，虽然我们没有进行排序，但是系统会有一个默认的排序，按照key2进行字典排序

3.combiner

    数据的规约

    在map阶段处理完数据后，为了map和reduce阶段更少的传递数据，增加一个combiner阶段，减少数据。

    combiner就是map端的reduce

blockSize 128M

long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));    1
long maxSize = getMaxSplitSize(job);    Long.MAX_VALUE

computeSplitSize(blockSize, minSize, maxSize);

Math.max(minSize, Math.min(maxSize, blockSize));

转载于:https://www.cnblogs.com/jeasonchen001/p/11300455.html