大数据开发
关注
分享
扫一扫
J0han
学无止境，虚心求知。
展开
-
MapReduce编程规范
用户编写的程序需要分成以下三个部分：Mapper- 用户自定义的Mapper需要继承自己的父类- Mapper的输入数据是KV对的形式（KV的类型可以自己定义）- Mapper中的业务逻辑写在map()方法中- Mapper的输出数据也是KV对的形式- map()方法（MapTask进程）对每一个<K,V>调用一次Reducer- 用户自定义的Reducer需要继承自...原创 2019-05-22 16:15:37 · 242 阅读 · 0 评论 -
MapReduce的WordCount案例过程分析及实现
功能介绍：在给定的文本文件之中统计出每个单词出现的次数实现流程分析输入数据：test.txt期望输出数据：monkey 2pandas 1tiger 2owl 1cat 1dog 3按照MapReduce编程规范编写程序Mapper将MapTask传给我们的文本内容转为String将String切分为单独的单词将每个单词输出KV对<单词,1>Re...原创 2019-05-23 22:20:44 · 3178 阅读 · 0 评论