mapreduce程序编写注意事项

任何一个解决方案都不可能做到天衣无缝，在不断出现的应用面前，一定会不断暴露出问题，暴露出问题就要解决。

问题1.与同一个KEY相关联的数据不能太多。
需求如下：
 

 假如有如下的数据(我尽量简化字段)：
 域名              QQ号码         性别。
 www.qq.com   21201421      男

 ....
 我需要做类似如下功能的统计 select count(distinct QQ号码) from 数据源 group by 性别。
 
 根据上次的文章，我们可能的做法如下：
 map(K1 key, Text value, OutputCollector<K2, V2> output, Reporter reporter)

 {
    //如何抽取字段我就不多说了，大家应该都清楚了。
    //关键就是这个KEY的取值。
  
    key = 性别+"_UV";
    value = QQ号码
    //将找到的key->value对反馈给框架  
    Output.emit(Key ,value); 
 }
 
 2.Reduce方法需要做什么
 
 void reduce(Text key, Iterator<Text> values,
 
               OutputCollector<Text, Text> output, Reporter reporter)
 
 {
 
  if( postFix( key ) == "_UV" ) //判断是否是用户数这个指标相关的数据
  
  ｛
  
    //values中的数据就是从各台机器上归总过来的QQ号码
  
    String uv = distinctCount( values );
  
    //push出最终结果
  
    Output.emit(key,uv );
  
  ｝
 
 }
 
      这样的方式乍看上去没什么问题，但是如果真正提交任务，很有可能将多个机器磁盘撑爆都无法完成任务的执行，问题在哪里呢？
     关键就是KEY值的生成，因为这个需求是按照性别进行统计分析，很显然最终会有两个KEY："男性_UV","女性_UV",也就是说这个job只有两个reduce任务，所有男性的QQ号码会集中到一台机器，所有女性的QQ号码也会集中到一台机器，这就导致承担reduce任务的机器负载过大，如果涉及的数据量过大，很可能任务就会执行失败。
  
  问题就在这里，想必大家都已经清楚了，那么如何解决这个问题呢？
  解决办法：将KEY打散。
 
  还是这个需求。
  map(K1 key, Text value, OutputCollector<K2, V2> output, Reporter reporter)

 {
  //关键就是这个KEY的取值,我们按照QQ号码后5五位进行数据打散。
  key = 性别+"_UV_"+$func_取QQ号码后五位(QQ号码);
  value = QQ号码
  //将找到的key->value对反馈给框架  
  Output.emit(Key ,value); 
 }
 
 2.Reduce方法需要做什么（reduce代码不做任何变化）
 
 void reduce(Text key, Iterator<Text> values,
 
               OutputCollector<Text, Text> output, Reporter reporter)
 
 {
 
  if( postFix( key ) == "_UV" ) //判断是否是用户数这个指标相关的数据
  
  ｛
  
    //values中的数据就是从各台机器上归总过来的QQ号码
  
    String uv = distinctCount( values );
  
    //push出最终结果
  
    Output.emit(key,uv );
  
  ｝ 
 }
 
 这样就会有很多个类似于如下格式的KEY "男性_UV_00000" "男性_UV_00001" "男性_UV_00002" ..... "男性_UV_99999" (女性时一样)

 也就是说

 原来的统计结果为：
 男性_UV: XXXXXX
 女性_UV：XXXXXX
 
 而现在的统计结果为：
 以00000结尾的男性的QQ号码_UV: XXXXX
 以00001结尾的男性的QQ号码_UV: XXXXX
 以00002结尾的男性的QQ号码_UV: XXXXX
 .....
 以99999结尾的男性的QQ号码_UV: XXXXX
 
 以00000结尾的女性的QQ号码_UV: XXXXX
 以00001结尾的女性的QQ号码_UV: XXXXX
 以00002结尾的女性的QQ号码_UV: XXXXX
 .....
 以99999结尾的女性的QQ号码_UV: XXXXX
 
 拿到结果再做一次统计操作就可以得到整体指标数据了。

转自：

http://blog.csdn.net/sxf_824/article/details/4842126