2020.9.10课堂笔记(idea中使用mapreduce实现wordcount)

最新推荐文章于 2024-06-11 20:12:19 发布

超可爱慕之

最新推荐文章于 2024-06-11 20:12:19 发布

阅读量433

点赞数

分类专栏：笔记

本文链接：https://blog.csdn.net/m0_48758256/article/details/108526665

版权

本文回顾了MapReduce的基本流程，对比了Hadoop 1.0和2.0的区别，并详细介绍了如何在IntelliJ IDEA中实现WordCount案例，包括添加Maven依赖、编写Mapper和Reducer类、可能需要的Partitioner类以及Driver类的执行逻辑。

摘要由CSDN通过智能技术生成

mapreduce基础复习：

1. mapreduce流程

	                      job-->TaskTracker-->Map/Reduce Task
    resource manager-->app master-->container-->
	                           scheduler执行计划							   
	split-->map-->combiner-->partitioner-->reducer-->resource manager

2. hadoop1.0和hadoop2.0的区别
1.0管理和计算都是由mapreduce来完成
2.0管理由yarn负责，不仅仅减轻mapreduce的计算压力，而且使得计算框架可扩展
3. driver类的核心逻辑
Job对象–>指定driver类为驱动类–>设置mapper和reducer/[partitioner]–>设置mapper和reducer的输出–>设置输入输出文件路径–>运行
4. 文件关联的逻辑
mapper端负责把文件合并，并且根据业务逻辑，把相同的key归类
reducer端负责根据相同的key来进行关联

在idea中实现wordcount词频统计：

需求分析：
1.Map过程:并行读取文本,对读取的单词进行map操作,每个词都以<key,value>形式生成
2.Reduce操作是对map的结果进行排序合并最后得出词频

1.添加maven依赖

注意hadoop-core依赖与hadoop-auth冲突，要求先注释掉。

<dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>
      <scope>test</scope>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
    <dependency>