最近看大数据的视频,学的不多不足之处还请批评指正:
hadoop map-reduce阶段 map阶段的感觉是把元数据整理成key-value型的k-v对,然后调用
Reducer<Text, IntWritable,Text,IntWritable>.Context 的write方法将整理成的k-v传入Reducer中,这里有个点,就是每个map构造的key-value对都是独立的,但传入Reducer后会以相同的key将value聚合在一起,对value的值进行处理,简要来说map是整理数据的过程,key是处理数据的过程。