MapReduce 开篇练习之统计单词

最新推荐文章于 2023-10-25 18:06:28 发布

顾疏影

最新推荐文章于 2023-10-25 18:06:28 发布

阅读量448

点赞数

分类专栏： hadoop-mapreduce 文章标签： hadoop mapreduce

本文链接：https://blog.csdn.net/kuanxiangqi0897/article/details/78846349

版权

这篇博客介绍了MapReduce的入门实践，通过一个简单的单词统计任务，详细讲解了Mapper、Reducer和Driver三个关键组件的工作原理和实现过程，旨在帮助初学者理解Hadoop MapReduce的编程模型。

摘要由CSDN通过智能技术生成

Mapper

/***
 * hadoop 分布式运算的编程框架
 * wordCount使用
 * 
 * KEYIN : 默认情况下，是mr框架所读到的一行文本内容的起始偏移量，Long
 *  但是在hadoop中有自己的更精简的序列化接口，所以不直接用Long,而用LongWritable
 * VALUEIN : 默认情况下，是mr框架所读到的一行文本的内容，String.同上用Text
 *
 * KEYOUT : 用户自定义逻辑处理完成之后输出数据中的key，在此处是单词，String.同上用Text
 * VALUEOUT : 用户自定义逻辑处理完成之后输出数据中的value，再次是单词次数：Integer. 同上用IntWritable
 */
public class WordcountMapper extends Mapper<LongWritable,Text,Text,IntWritable>{
   


    /***
     * map阶段的业务逻辑就写在自定义的map方法中
     * maptask会对每一行输入数据调用一次我们自定义的map()方法
     *