Hadoop 2.4.1 Map/Reduce小结【原创】

　　看了下MapReduce的例子。再看了下Mapper和Reducer源码，理清了参数的意义，就o了。

public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>

public class Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>

　　Map是打散过程，把输入的数据，拆分成若干的键值对。Reduce是重组的，根据前面的键值对，重组数据。

　　自己写Map/Reduce的话，理解了如何拆分数据、组装数据，理解了Map的一些特性，就能写了，没啥大的难度，主要就是如何拆分和重组，这个看业务需要了。

　　发布和测试的话，个人认为还是不要用那个插件了，会打包一堆的jar包进去，自己打包个jar包，只要class啥的，就一点点大而已。打包好后，丢去hadoop服务器，直接用$HADOOP_HOME/bin下的haddop命令跑就好了。

　　这部分实在是没啥好写的了。

转载于:https://www.cnblogs.com/zxub/p/3884806.html