weiqing250的专栏

转载 hadoop streaming 排序

一、基础： 首先明确一下两个基本概念： Partition：分桶过程，用户输出的key经过partition分发到不同的reduce里，因而partitioner就是分桶器，一般用平台默认的hash分桶，也可以自己指定。 Key：是需要排序的字段，相同分桶&&相同key的行排序到一起。 在streaming模式默认hadoop会把map输出的一行中遇到的第一个设定的字段分隔符...