m0_37956825的博客

原创 MapReduce编程规范及实践（流量统计）

一、MapReduce编码规范 Map阶段2个步骤 设置 InputFormat 类, 将数据切分为 Key-Value(K1和V1) 对, 输入到第二步 自定义 Map 逻辑, 将第一步的结果转换成另外的 Key-Value(K2和V2) 对, 输出结果 Shule 阶段 4 个步骤 对输出的 Key-Value 对进行 分区 对不同分区的数据按照相同的 Key 排序 (可选) 对分组过的数据初步 规约 , 降低数据的网络拷贝 对数据进行 分组 ,